zc911 / matrixslow Goto Github PK

Variable类在初始化时，父类Node的初始化不应该传入self参数，即

def __init__(self, dim, init=False, trainable=True, **kargs):
    """
    变量节点没有父节点，构造函数接受变量的形状，是否初始化以及是否参与训练的标识
    """
    Node.__init__(**kargs) #而非Node.__init__(self,  **kargs)
    self.dim = dim

这是因为如果传入self，则Node会将自身Variable实例收集到parent参数中，然后将自己加入到自己的children列表中，如果调用reset_value函数，就会陷入无限递归，从而报错

此处的
return [node for node in default_graph.nodes if isinstance(node, Variable) and node.trainable]
是否应该改为：
return [node for node in graph.nodes if isinstance(node, Variable) and node.trainable]

HI，
首先，非常喜欢您的书，之前看过许多关于深度学习方面的书籍，但是对于深度学习框架本身介绍的书籍却不多，而且，深度学习框架本身代码量比较大，更新快，所以直接看源码，很痛苦。

• 我在微信读书，阅读您的书籍的时候发现，有数公式是否存在错误 。 公式4.2 是关于p1 的定义，下面关于p2 的定义，是否多出了一个负号。
  

你好，关于allreduce的rpc https://github.com/zackchen/MatrixSlow/blob/9c400dd97e1a776a9632a8ed3b9f6b7cf0585c94/matrixslow/trainer/dist_trainer.py#L155
和
https://github.com/zackchen/MatrixSlow/blob/9c400dd97e1a776a9632a8ed3b9f6b7cf0585c94/matrixslow/trainer/dist_trainer.py#L158
这两行的顺序重要么？L155会不会一直block？

你好，在看这部分代码的时候遇到一点疑问希望解答下，感谢~

• 请问这一行有什么用，看起来是不是多余的
• 以及下一行中的value的A1是什么

想问一下这里计算jacobi是否应该使用矩阵乘法运算符@？
self.jacobi += child.backward(result) * child.get_jacobi(self)

你好，我最近正在看您出的书
因为我是初学者，对于某些问题的理解没有很深刻
在书的第七页，您提到为了减少模型对新样本的输出值，可以使用式1.3调整权值和偏置
这样做的依据是利用xi的符号进而控制权值wi的更新（增大 or 减小）
这里我有疑问如下：
xi(i=1,2,3)代表的是（身高，体重，体脂率），那xi为什么会有小于0的情况
式1.3是依据经验构造的吗？