(google超级计算机)
Alphabet Inc 旗下的谷歌周二公布了用于训练人工智能模型的超级计算机的新细节,称该系统比Nvidia 公司的类似系统更快、更节能。 Alphabet Inc 旗下的谷歌周二公布了有关其使用的超级计算机的新细节训练人工智能模型,称该系统比Nvidia 公司的类似系统更快、更节能。
谷歌设计了自己的定制芯片,称为张量处理单元(TPU)。该公司90% 以上的人工智能训练工作都使用了这些芯片,即通过模型提供数据的过程,使其可用于诸如用类似人类的文本响应查询或生成图像等任务。
谷歌TPU 现在已经是第四代了。谷歌周二发表了一篇科学论文,详细介绍了如何使用自己定制开发的光学开关将4000 多个芯片串成一台超级计算机,以帮助连接机器。
改善这些连接已成为构建人工智能超级计算机的公司之间竞争的关键点,因为为Google 的Bard 或OpenAI 的ChatGPT 等技术提供支持的所谓大型语言模型的规模已经爆炸式增长,这意味着它们太大而无法存储在单个芯片上。
相反,这些模型必须分布在数千个芯片上,然后这些芯片必须一起工作数周或更长时间来训练模型。谷歌的PaLM 模型是迄今为止公开披露的最大的语言模型,其训练时间是在4,000 台芯片超级计算机中的两台上进行的,训练时间为50 天。
谷歌表示,其超级计算机可以轻松动态地重新配置芯片之间的连接,有助于避免问题并进行调整以提高性能。
谷歌院士Norm Jouppi 和谷歌杰出工程师David Patterson 在一篇有关该系统的博客文章中写道:“电路切换可以轻松绕过有故障的组件。” “这种灵活性甚至允许我们改变超级计算机互连的拓扑结构,以加速ML(机器学习)模型的性能。”
虽然谷歌现在才公布其超级计算机的详细信息,但它自2020 年以来一直在该公司位于俄克拉荷马州梅斯县的内部数据中心上线。谷歌表示,初创公司Midjourney 使用该系统来训练其模型,该模型在输入几句话文本后生成新图像。
谷歌在论文中表示,对于相同规模的系统,其芯片比基于Nvidia A100 芯片的系统速度快1.7 倍,能效高1.9 倍,后者与第四代TPU 同时上市。
[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:83115484#qq.com,#换成@即可,我们会予以删除相关文章,保证您的权利。 转载请注明出处:http://jhonenet.com//wenda/10424.html