快讯
TorchTPU 和 TorchNeuron 开源:PyTorch 原生跑上 TPU 与 Trainium
PyTorch 大会上谷歌开源 TorchTPU、AWS 开源 TorchNeuron(公测),PyTorch 代码改个设备名就能跑在 TPU 和 Trainium 上,Transformers、vLLM 也已支持。英伟达之外的选择变多了。
GPU、TPU、昇腾等 AI 芯片与推理框架:英伟达之外的算力选择和推理效率。 共 2 篇,按发布时间排列。
PyTorch 大会上谷歌开源 TorchTPU、AWS 开源 TorchNeuron(公测),PyTorch 代码改个设备名就能跑在 TPU 和 Trainium 上,Transformers、vLLM 也已支持。英伟达之外的选择变多了。
DeepSeek 以 Apache 2.0 开源线上服务用的推理框架 DeepInfer,支持 V4.1-Flash、英伟达 SM100 与华为昇腾 950;KV 缓存、PD 分离和负载均衡没放出,暂时搭不成完整在线服务。