statham-stone / multirunner Goto Github PK

谢谢分享！

1. 你提供的这个工具，全部内容只有一个 .py 文件？
2. 在这个文件里面，没有看到multiprocessing之类的多进程调用？请问是如何实现的多进程并发？
3. 能提供一个最小的使用样例么（或者完整的实际使用样例），比如在mnist什么的上面使用Pytorch调一下参数。就是一个完整的样例，能够复现的。里面包括训练集、验证集的加载等等
4. 如果模型是分布式（Pytorch DDP）的，这种情况下怎么使用这个工具去调参？有什么不同吗？
5. 提供了random search功能吗？怎么使用？

https://github.com/Statham-stone/MultiRunner/blob/9ad9bc8b34cac31e56827ade49763b4ea7d85a01/MultiRunner.py#L28

'prepara' is expected to be 'prepare'?

We have to make sure that there are only ONE process generates the ini files.

《Deep Learning》 11.4.3和11.4.4分别介绍了网格搜索和随机搜索。

总结一句：随机搜索能比网格搜索更快地找到良好的超参数。