zhengli97 / ctkd Goto Github PK

View Code? Open in Web Editor NEW

134.0 3.0 12.0 1.91 MB

[AAAI 2023] Official PyTorch Code for "Curriculum Temperature for Knowledge Distillation"

Home Page: https://zhengli97.github.io/CTKD/

License: Apache License 2.0

Python 97.81% Shell 2.19%

aaai2023 cifar100 computer-vision imagenet knowledge-distillation dynamic-temperature curriculum-learning

ctkd's People

Contributors

Stargazers

Watchers

Forkers

dl-kd turingsu jhyuuu xingyueye k-styles jason233333 huaminyang transuper beteasy csklevente syc1123

ctkd's Issues

请问num_loops为什么设为10

您好，请问num_loops为什么设为10，以及10个epoch之后lambda的值就不变了吗，我看code是这样写的，若不变了是怎么加大课程的难度的呢？

DALI error

大佬，我这刚刚复现就出现这个错误，我对比看了下student和teacher有个什么duplicate，但是我找了半天没发现什么对方错了，请帮我回答下，多谢！

代码一个小建议:

请删除 models/__init__.py 里面的第 14 行

from .temp_mlp import Temp_MLP1

然后如果方便的话,请提供一个Requirements.txt

在yolov8上使用CTKD

您好！阅读了你们的CTKD，对这工作十分感兴趣。我在yolov8上做蒸馏使用CTKD，开始时训练temp不会改变，发现可能是使用了amp导致的，关amp闭后temp一直增大，发现并不会经过GRL的backward。请问您有什么见解，谢谢谢谢。

Failed to reproduce results on Imagenet.

Thanks for your great work.

We try to reproduce reults of KD (without CTKD) using run_imagenet_distill.sh but t it seems that something is wrong.

python3 train_student.py --path-t ./save/models/ResNet34/resnet34.pth \
        --distill kd \
        --batch_size 256 --epochs 120 --dataset imagenet \
        --gpu_id 0,1,2,3,4,5,6,7 --num_workers 32 \
        --learning_rate 0.1 --lr_decay_epochs 30,60,90 --weight_decay 1e-4 \
        --model_s ResNet18 -r 1 -a 1 -b 0 --kd_T 4 \
        ...

	RN34	RN18	KD
Paper	73.96	70.26	70.83
Ours	73.79	70.34	70.27, 70.48

I would like to know whether the cause is experimental error or parameter error.

temp在一次backward后，就从15.6212变成了nan

你好，我是将你们code里跟temp有关的部分替换了我自己的蒸馏方法里的温度，在第一次loss.backward后，temp的值从15.6212变成了nan，且一直是nan，请问有什么问题或建议吗

instant-T算法在哪

您好，请问一下，instance-T算法在代码的何处呢？我没找到。

交替优化机制和GRL梯度翻转层

您好，请问交替优化机制和GRL梯度翻转层在代码里的哪处呢？

您好，不好意思，我在您的代码中没有找到instance-τ的相关代码，请问可以分享一下吗？

我在您提供的代码中只看到了global-T的实现，并没有找到instance-τ具体是怎么做的。可能是您忘了上传吗？或者是我没有找到？请问可以提供一下吗？

run_cifar_distill.sh

Why is there no code for CTKD in the run_cifar_distill.sh file? And the code about 14 lines of DKD seems to be wrong!

关于KD的实现

请问一下，为什么代码实现KD时，教师模型的输出是经过log_softmax，而学生模型输出经过softmax，会有什么影响吗（除了log_softmax计算快）
KD_loss += nn.KLDivLoss(reduction='batchmean')(F.log_softmax(y_s/T, dim=1), F.softmax(y_t/T, dim=1)) * T * T