Comments (4)
jindongwang
commented on July 24, 2024
我觉得你可能说的对。不妨先做个实验验证一下，哪种是正确的？
在2019年3月2日 11:10，Guangyao ZHAO<[email protected]><mailto:[email protected]> 写道：
王老师您好，在阅读您的迁移学习教程的时候，个人认为DDC和DAN的前几层参数应该设置为frozen。
但是您的代码带load resnet50模型的时候，只是固定的weight中data的requires_grad=False.
这样是不是固定不住参数呢？
我认为实际上应该吧weight.requies_grad=False.
比如conv1的参数，如图：
weight.requires_grad<https://zhaokuanyew.nos-eastchina1.126.net/DDC1.png>
weight.data.requires_grad<https://zhaokuanyew.nos-eastchina1.126.net/DDC2.png>
—
You are receiving this because you are subscribed to this thread.
Reply to this email directly, view it on GitHub<#57>, or mute the thread<https://github.com/notifications/unsubscribe-auth/AF33fs36ahLkxq-AWoyjhIj7irYJDltLks5vSeuhgaJpZM4baIye>.
from transferlearning.
DianLyu
commented on July 24, 2024
您好，想请教下您说的这个问题，在王老师的DAN代码中是在何处呢？我没有找到王老师有对DAN load resnet50时对层进行操作呀？还请指点一下 @zhaoguangyao
from transferlearning.
zhaoguangyao
commented on July 24, 2024
您好，想请教下您说的这个问题，在王老师的DAN代码中是在何处呢？我没有找到王老师有对DAN load resnet50时对层进行操作呀？还请指点一下 @zhaoguangyao
就是在加载模型参数的时候，117行model = load_pretrain(model)这个函数就是加载残差网络的模型的。
我的问题就是发现：
这个加载resnet50的方法，只是覆盖了模型中每一层的weight，使weight中的data的参数requires_grad=Fasle,这种做法无法frozen参数。
pytorch1.0中应该把每一层中weight的requires_grad=False,这样才frozen所有的参数。（如上图）
我也很困惑，pytorch1.0中为什么会有多个requires_grad参数。
经过简单测试，在pytorch1.0中只固定weight.data.requires_grad=False无法frozen参数。
这个问题好像是pytorch版本的问题，可能在王老师使用的pytorch 0.3中不存在这个问题吧。
from transferlearning.
DianLyu
commented on July 24, 2024
您好，想请教下您说的这个问题，在王老师的DAN代码中是在何处呢？我没有找到王老师有对DAN load resnet50时对层进行操作呀？还请指点一下 @zhaoguangyao
就是在加载模型参数的时候，117行model = load_pretrain(model)这个函数就是加载残差网络的模型的。
我的问题就是发现：
这个加载resnet50的方法，只是覆盖了模型中每一层的weight，使weight中的data的参数requires_grad=Fasle,这种做法无法frozen参数。pytorch1.0中应该把每一层中weight的requires_grad=False,这样才frozen所有的参数。（如上图）
我也很困惑，pytorch1.0中为什么会有多个requires_grad参数。经过简单测试，在pytorch1.0中只固定weight.data.requires_grad=False无法frozen参数。
这个问题好像是pytorch版本的问题，可能在王老师使用的pytorch 0.3中不存在这个问题吧。
明白了，多谢指教！
from transferlearning.
Related Issues (20)
- MMD距离 backward问题 HOT 3
- BDA代码中的数据集的问题 HOT 2
- 关于TransferNet中source_clf计算的疑问 HOT 1
- 关于复现 HOT 1
- 对比算法的复现缺少部分流程 HOT 1
- 程序显示没有loss_funcs模块 HOT 1
- Our new test-time adaptation algorithm for segmentation HOT 3
- 关于transferlearning/code /DeepDA的模型代码读取 HOT 2
- How to use DIFEX for single domain generalization? HOT 2
- code add HOT 2
- 有关于在使用DG中DANN方法中遇到的问题
- Office-31 webcam域上微调模型丢失 HOT 1
- 是否需要进行微调？ HOT 2
- 作者您好！请问AdaRNN的对比实验中，MMD-RNN和DANN-RNN是如何实现的，MMD-RNN的源域和目标域是如何定义的，AdaRNN相比这两个对比模型进步在哪里？ HOT 1
- Feature Request：添加ADDA的代码以及与其他方法的比较。 HOT 1
- 王老师您好，Domain Generalization for Activity Recognition via Adaptive Feature Fusion请问这篇论文的代码具体在哪个文件夹里？找了很久没找到 HOT 1
- Time series domain adaptation benchmark and datasets HOT 1
- DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization中的cross_dataset的文件 HOT 1
- BDA中A-distance问题
- 关于DANN中的域鉴别器的域分类准确率 HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from transferlearning.