英伟达:CPU 已经落伍,用 GPU 磨炼狂语言模子老本可飞腾 96%

娱乐 2025-03-19 12:04:15 2

  IT之家 5 月 29 日新闻,英伟已经用G言模凭证英伟达在 2023 年台北电脑展会上的落伍老本演讲,该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子(LLM)的磨炼老本以及耗能。

  英伟达首席实施官黄仁勋在演讲中 ,狂语可飞向 CPU 行业建议了挑战 ,英伟已经用G言模他以为天生式家养智能以及减速合计是落伍老本未来合计的倾向。他宣告传统的磨炼摩尔定律已经由时 ,未来的狂语可飞功能提升将主要来自天生式家养智能以及基于减速合计的措施 。

  英伟达在展会上揭示了一份 LLM 的英伟已经用G言模总体具备老本(Total Cost of Ownership,TCO)合成 :首先 ,落伍老本他们合计了磨炼一个 LLM 所需的磨炼 960 个 CPU 组成的效率器集群的残缺老本(搜罗收集 、机箱 、狂语可飞互连等所有配置装备部署) ,英伟已经用G言模发现这需要破费约 1000 万美元(IT之家备注:之后约 7070 万元国夷易近币),落伍老本并破费 11 千兆瓦时的磨炼电力 。

  比照之下 ,假如坚持老本巩固,置办一个价钱 1000 万美元的 GPU 集群 ,可能在同样的老本以及更少的电力破费(3.2 千兆瓦时)下磨炼 44 个 LLM。假如转而坚持电力破费巩固 ,那末可能经由 GPU 集群实现 150 倍的减速,以 11 千兆瓦时的电力破费磨炼 150 个 LLM,但这需要破费 3400 万美元,此外这个集群的占地面积比 CPU 集群小良多。最后,假如只想磨炼一个 LLM ,那末惟独要一个价钱 40 万美元、破费 0.13 千兆瓦时电力的 GPU 效率器就能了  。

  英伟达所要表白的意思是 ,比照 CPU 效率器 ,客户可能以 4% 的老本以及 1.2% 的电力破费来磨炼一个 LLM ,这是一个重大的老本节约。

本文地址:https://geqgofmfa.strain.blog/news/347f399506.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

德甲最新积分榜:勒沃库森1-1,4分领跑!拜仁第二 斯图加特排第三

4000万欧重返英超!巴萨亏本出售费兰托雷斯,哈维放弃前曼城边锋

意甲:拉齐奥胜国际米兰肌肤如雪丰腴的美女人物油画︱法国女画家弗朗辛·凡·霍夫绘画作品

巴黎圣日耳曼低头与皇马和姆巴佩谈判

原创 重返曼联?恭喜穆里尼奥!新老板介入,罗马后悔,英超争4乱了

巴黎圣日耳曼低头与皇马和姆巴佩谈判

卡西利亚斯等3位西甲传奇球星齐聚上海 与900多名球迷互动对话王宝强警告王宝弱:模仿可以,不能无底线捞金

CBA|天津男篮与杜伯超、林晗完成了两年新秀合同十几年前流行的屁股针,剧痛但见效快,为什么现在消失了?

友情链接