9月30日,智谱正式发布并开源新一代大模型GLM-4.6,在 等核心能力上实现较大提升,代码生成能力对齐 4。
目前,GLM-4.6已在寒武纪国产AI芯片上实现FP8+Int4混合量化推理部署,这也是首次在国产芯片上投产的FP8+Int4模型-芯片一体化解决方案。摩尔线程基于vLLM推理框架完成了对GLM-4.6的适配,新一代GPU可在原生FP8精度下稳定运行模型。
联系人:万师傅
电 话:400-966-8255
地 址:全国各地均设服务网点
9月30日,智谱正式发布并开源新一代大模型GLM-4.6,在 等核心能力上实现较大提升,代码生成能力对齐 4。
目前,GLM-4.6已在寒武纪国产AI芯片上实现FP8+Int4混合量化推理部署,这也是首次在国产芯片上投产的FP8+Int4模型-芯片一体化解决方案。摩尔线程基于vLLM推理框架完成了对GLM-4.6的适配,新一代GPU可在原生FP8精度下稳定运行模型。
(c)2008-2024 www.colofa.com 乐修网 -专注各家用电器维修和维修知识查询 SYSTEM All Rights Reserved 备案号:鄂ICP备2020015483号-13
技术支持: QQ904-516-073