论文地址:
在这篇论文中,他提出了一种新的优化器LAMB,它将超大型模型BERT的预训练时间减少到76分钟。
你知道,BERT-预训练的计算量非常大。例如,在8亿字的数据集上训练40个需要一个月,而BERT- model在33亿字的数据集上训练40个,使用8 P100可能需要一年。
该论文显示,与基准BERT相比,LAMB训练BERT使用一个TPU芯片(1024个TPU芯片)使用16个TPU芯片。在批量训练规模接近TPUv3pod记忆极限的情况下,预训练迭代次数从100万次减少到8599次,从而将训练时间从3天缩短到76分钟,创造了新的世界纪录。
截至目前,LAMB仍是机器学习领域的主流优化器,在谷歌、微软、英特尔、英伟达等科技巨头中得到了广泛应用。
此前,尤杨还刷新了ImageNet的训练速度世界纪录。他发表的这篇《ImageNetTraininginminutes》中提出的算法将AlexNet模型训练减少到24分钟。此前,在NVIDIA的M40GPU上用ImageNet训练ResNet50需要14天。
据谷歌学者报道,尤杨在并行计算、机器学习和高性能计算领域发表了40多篇论文,其中两篇论文被国际并行与分布式处理会议(IPDPS2015)和国际并行处理会议(ICPP2018)评选为最佳论文。
AI技术和人才是创业任何一家人工智能公司的核心资本尤杨在接受《AI科技评论》采访时表示,陈露公司招募的十位核心成员均来自国内外著名大学,如加州大学伯克利分校、斯坦福大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等。
本文链接:http://www.slxf119.com/10264.html 转载需授权!
网友评论