yskim0 / pytorch-cifar10 Goto Github PK

Implementing and training/testing popular model architectures on the CIFAR10 dataset.

Python 100.00%

pytorch pytorch-implementation deep-learning cifar10 cifar-10 deep-learning-algorithms deep-learning-architectures alexnet zfnet model-architectures

pytorch-cifar10's Introduction

Pytorch Implementation of Deep Learning Models/Algorithms

This repositiory is for implementing and training/testing popular model architectures on the CIFAR10 dataset.

Environment

CUDA Version: 10.2

torch==1.5.0
torchvision==0.6.0
numpy==1.19.2

Usage

Training

To train a model, run train.py. If you need to speicfy the model, just use some args.

# train alexnet model with using gpu. 50 epochs
$ python train.py --model alexnet --epoch 50 --gpu

optional&required arguments

--data_dir      default='./data/train',
                help="Directory containing the dataset"
--model         required=True, type=str,
                help="The model you want to train"
--lr            type=float, default=0.001,
                help="Learning rate"
--epoch         type=int, default=50,
                help="Total training epochs"
--batch_size    type=int, default=256,
                help="batch size"
--gpu           action='store_true', default='False',
                help="GPU available"

Evaluate

To evaluate the model, run evaluate.py. If you need to speicfy the model, just use some args.

# evaluate alexnet model
$ python evaluate.py --model alexnet --weights ./results/alexnet/best.pth --gpu

optional&required arguments

--data_dir      default='./data/test',
                help="Directory containing the dataset"
--model         required=True, type=str,
                help="The model you want to test"
--weight        required=True,
                help="The weights file you want to test"
--batch_size    default=256,
                help="batch size"
--gpu           action='store_true', default='False',
                help="GPU available"

Results

Network	epoch	lr	top1@prec(test)	ModelSize(MB)
AlexNet	50	0.001	74.2578%	266MB
ZFNet	50	0.01	80.4395%	445MB
VGG	-	-	-	-
ResNet	-	-	-	-
Inception	-	-	-	-
GoogLeNet	-	-	-	-
-	-	-	-	-
-	-	-	-	-
-	-	-	-	-
-	-	-	-	-

pytorch-cifar10's People

Contributors

Stargazers

Watchers

Forkers

hoiho77 seunghoon-yi

pytorch-cifar10's Issues

AlexNet/ ZFNet 코드 리뷰

pytorch는 처음이라서 그냥 보는데 전체적으로 주석을 잘 달아주셔서 코드 가독성이 좋은 것 같아요!

data_loader.py

transform.Normalize()의 변수는 직접 계산하셔서 입력하신 건가요?(파이토치를 잘 몰라서,,)
transform에서 데이터를 resize할 때 alexnet은 입력값이 227이라고 알고 있는데 사이즈를 256? 224? 조정하신 건가요?? centercrop은 데이터를 자른 것인지!? (이렇게 전처리한 이유는 무엇인지 궁금하네요!!)

cifar10 데이터셋이 제 컴에서 잘 안돌아가서 일부만 활용하느라 데이터셋 load를 그냥 너무 단순하게 한 것 같아서 저도 shuffle이나 augmentation 등 다양한 옵션을 고민해봐야겠네요

alexnet, zfnet

classifier과 feature extraction을 따로 구현해서 이 tensorflow랑 달라서 신기하네요.
forward() 도 신기하구요! 근데 이 함수가 호출이 안 되어도 되는건지?(forward함수 호출하는걸 못찾겠어서.. 그냥 실행이 되는 건가요?!! 제가 이해를 잘못한 거 일 수도 있어요!ㅜㅜ )

train.py

logging.info() 저도 넣어야겠다는 생각이 드네요ㅎㅎ
tensorflow-gpu로 할 때는 gpu가 그냥 구동이되는 것 같은데
pytorch라서 다른 건지 아니면 저렇게 정할 수 있는 옵션이 저도 되는지 한번 시도해봐야겠어요! tensorflow는 그냥 모델 돌리기엔 편한데 pytorch로 보면 확실히 여러 단계들을 세분화해서 볼 수 있다는 생각이 드네요!

utils.py

각각 모델 별로 optimizer을 다르게 로드하게 해두셔서 좋다는 생각을 했습니다!!!
alexnet은 adam인데 제가 sgd로 잘못했다는 것도 발견했네요.
save_checkpoints( )랑 best 모델 저장하는 것도 저도 적용해야겠어요!!

고생하셨습니다 👐 여러모로 배울 부분과 제게 적용해야할 부분이 많네요ㅎㅎ
제가 아직 공부할 게 많아서..ㅎㅎ 혹시 질문한 부분 중에 답주실 수 있으신 부분은 시간 나실 때 언제든 답 주셔도 좋아요ㅎㅎ 앞으로도 화이팅!!