第四百三十一章 男朋友越来越变态了（2 / 6）

nbsp;罗伯茨教授说道：“我们刚好遇到个难题，不知道你有没有兴趣一起研究。”

    “当然。”

    许青舟点头，来之前本来就想着看看罗伯茨教授他们研究到哪一步了。而且，他还挺喜欢这种大家在一起头脑风暴的感觉。

    罗伯茨教授指着一侧的白板：“是分布式计算的一个环节，分布式集群中节点故障概率随规模增大而升高，重新计算故障节点的分片数据就会有显著延迟训练进程。”

    于是，许青舟一天时间都呆在办公室和罗伯茨教授他们讨论计算问题。

    “这里可以利用历史梯度估计丢失参数，设节点k在时间( t )故障，其隐向量( u_k )可通过相邻节点梯度插值恢复。”

    许青舟在白板上写下几个公式。

    【[ u_k^{t+1}= u_k^t -\eta \left(\frac{1}{|N(k)|}\sum_{j \in N(k)}abla u_j^t ight)]】

    “嗯，允许滞后节点直接拉取最新全局参数( W^t )，跳过中间梯度。”

    罗伯茨教授微微点头，在旁边补充：“[ W_{lag}^{t+1}= W^t -\eta abla \m”

    霍尔恩望着两人你一言我一语，表情古怪，怎么自己成配角了？

    他瞅