TorchTPU 和 TorchNeuron 开源:PyTorch 原生跑上 TPU 与 Trainium
10 月 20 日的 PyTorch 大会上,谷歌和 AWS 各自开源了一套“原生 PyTorch”后端:TorchTPU 对应谷歌 TPU,TorchNeuron 对应亚马逊 Trainium。两家的卖点都是现有 PyTorch 代码几乎不用改。
谷歌给的数字:TorchTitan 训练 Qwen 3 8B 时模型算力利用率(MFU)最高 52%,最多扩到 8192 块 Ironwood TPU,扩展接近线性。AWS 那边引用了客户 Deepgram 的说法:同样的钱,Trainium 能处理的音频秒数比他们原来的 GPU 方案多约 60%。两个数字都是厂商或客户自报的。
它的意义在于:过去换芯片要改代码、重新验证,现在多数情况下改一个设备名就行。跟 DeepSeek 把昇腾 950 写进 DeepInfer 的支持列表放在一起看,英伟达之外的算力选项明显多了。
注意:按 AWS 的说明,TorchNeuron 首版不支持稀疏张量、NestedTensor、动态形状等功能,还有约 2.2 万个算子用例暂时跳过。两者我们都没有实测。