AI基础设施:OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态

AI基础设施:OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态

admin 2024-09-19 广州软文合集 29 次浏览 0个评论

来源:Gangtise投研

 AI基础设施 专家表示,OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态。推理端的带宽会接近训练端卡的组网形式。因为计算方式改变,引入新计算模式后计算复杂度(计算多样性)与训练相当,以前的推理芯片效能和能力逐渐不够,最终会回到用训练芯片做推理的状态。

转载请注明来自富泽强科贸软文网,本文标题:《AI基础设施:OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态》

每一天,每一秒,你所做的决定都会改变你的人生!