清华校友回国创业 超一半员工为清华校友 人均金牌数≥2

论文地址：

在这篇论文中，他提出了一种新的优化器LAMB，它将超大型模型BERT的预训练时间减少到76分钟。

你知道，BERT-预训练的计算量非常大。例如，在8亿字的数据集上训练40个需要一个月，而BERT- model在33亿字的数据集上训练40个，使用8 P100可能需要一年。

该论文显示，与基准BERT相比，LAMB训练BERT使用一个TPU芯片(1024个TPU芯片)使用16个TPU芯片。在批量训练规模接近TPUv3pod记忆极限的情况下，预训练迭代次数从100万次减少到8599次，从而将训练时间从3天缩短到76分钟，创造了新的世界纪录。

截至目前，LAMB仍是机器学习领域的主流优化器，在谷歌、微软、英特尔、英伟达等科技巨头中得到了广泛应用。

此前，尤杨还刷新了ImageNet的训练速度世界纪录。他发表的这篇《ImageNetTraininginminutes》中提出的算法将AlexNet模型训练减少到24分钟。此前，在NVIDIA的M40GPU上用ImageNet训练ResNet50需要14天。

据谷歌学者报道，尤杨在并行计算、机器学习和高性能计算领域发表了40多篇论文，其中两篇论文被国际并行与分布式处理会议(IPDPS2015)和国际并行处理会议(ICPP2018)评选为最佳论文。

AI技术和人才是创业任何一家人工智能公司的核心资本尤杨在接受《AI科技评论》采访时表示，陈露公司招募的十位核心成员均来自国内外著名大学，如加州大学伯克利分校、斯坦福大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等。

本文链接：http://www.slxf119.com/10264.html 转载需授权！