当地时间4月9日,谷歌在美国举行了“Google Cloud Next 25”大会,正式发布了专为AI设计的第七代TPU(Tensor Processing Unit)加速器“Ironwood”,单芯片峰值算力可达4,614 TFLOPs。
谷歌在去年的I/O 2024大会上,刚发布了其第六代TPU “Trilium”。官方表示,相比上一代芯片,第六代TPU的训练性能提升4倍以上,推理吞吐量提升达到3倍,峰值计算性能提升了4.7倍,能效也提升了67%。去年末,第六代TPU正式向Google Cloud客户开放使用。
在各大科技巨头竞相开发自研人工智能芯片的情况下,谷歌也在将其TPU推向第七代。
据介绍,最新的Ironwood是谷歌首款在其张量核和矩阵数学单元中支持 FP8 计算的 TPU,而此前谷歌的 TPU 仅支持用于推理的 INT8 格式和处理以及用于训练的 BF16 格式和处理。
谷歌为Ironwood设计了两种规模配置:面向推理的256芯片集群和面向训练的9216芯片集群。当扩展至最大规模时,总运算能力可达42.5 Exaflops,是当前全球最强超级计算机El Capitan的24倍。这一算力足以支持超大型密集LLM(大型语言模型)或MoE(混合专家模型)的训练与推理,推动AI技术向“思考型”和“推理型”模型演进。
Ironwood还大幅增加高频宽內存(HBM)容量,每颗芯片的HBM容量提高到了192GB,达到了Trillium的6倍,可处理更大型的模型和数据集运算,减少频繁的数据传输需求,同时,HBM带宽也大幅提升,Ironwood单颗芯片的内存带宽可达7.2Tbps,是Trillium的4.5倍,以确保数据快速存取。
谷歌云副总裁阿明·瓦赫达特表示:“Ironwood是我们迄今为止性能最强、功能最全、能效最高的TPU。它专为驱动具备思考能力的AI模型而设计,代表了AI基础设施的重大转变”。
目前,Ironwood已计划于今年晚些时候向Google Cloud客户开放,
谷歌为内部研发和云服务设计自己的人工智能芯片,从而减少了对英伟达的依赖,巩固自身在AI竞赛中的地位。 其竞争对手OpenAI和Meta仍然严重依赖英伟达芯片,来满足日益增长的服务需求。
随着AI芯片竞争的白热化,尽管英伟达仍占据领先地位,但亚马逊、微软等科技巨头也在加速布局自研解决方案。亚马逊拥有AWS Trainium / Inferentia芯片以及Graviton处理器,微软则有Maia 100、Cobalt 100芯片。
另外有报道称,在OpenAI宣布将采用竞争对手Anthropic的AI 模型连接数据系统标准后,谷歌也迅速跟进。
谷歌 DeepMind 首席执行官德米斯・哈萨比斯(Demis Hassabis)本周三在 X 平台上发布消息,称谷歌将为其 Gemini 模型和软件开发工具包(SDK)添加对 Anthropic 的模型上下文协议(Model Context Protocol,MCP)的支持,不过他并未给出具体的时间表。
有话要说...