本项目基于paddlepaddle框架复现了ESPNet语义分割模型，该论文作者利用卷积因子分解原理设计了非常精巧的EESP模块，并基于次提出了一个轻量级、效率高的通用卷积神经网络模型ESPNet，能够大大减少模型的参数并且保持模型的性能。

[1] Mehta S , Rastegari M , Caspi A , et al. ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation

https://github.com/sacmehta/ESPNet

在CityScapes val数据集的测试效果如下表。

CityScapes dataset

• 数据集大小:
  • 训练集: 2975
  • 验证集: 500

• 硬件: Tesla V100 * 4

• 框架:

  • PaddlePaddle == develop

# clone this repo
git clone https://github.com/simuler/ESPNet.git
cd ESPNet

安装第三方库

pip install -r requirements.txt

运行compute_classweight.py文件，注意修改文件内的数据路径，将运行打印的输出结果作为配置文件的损失函数权重。 配置文件中已经放置了计算过的损失函数权重，无需再次计算

单卡训练：

python train.py --config configs/espnetv1/espnetv1_cityscapes_1024x512_120k.yml  --do_eval --use_vdl --log_iter 100 --save_interval 1000 --save_dir output

多卡训练：

python -m paddle.distributed.launch train.py --config configs/espnetv1/espnetv1_cityscapes_1024x512_120k.yml  --do_eval --use_vdl --log_iter 100 --save_interval 1000 --save_dir output

output目录下包含已经训练好的模型参数以及对应的日志文件。

python val.py --config configs/espnetv1/espnetv1_cityscapes_1024x512_120k.yml --model_path output/best_model/model.pdparams

代码结构

├─configs                          
├─log                         
├─output                           
├─paddleseg
├─tools                                               
│  export.py                     
│  predict.py                        
│  README.md                        
│  compute_classweight.py                    
│  requirements.txt                      
│  setup.py                   
│  train.py                
│  val.py                       

说明 1、本项目在Aistudio平台，使用Tesla V100 * 4 脚本任务训练120K miou达到63.65%。 2、本项目基于PaddleSeg开发。

相关信息: