通义大模型落地手机芯片 离线尊龙凯时可流畅运行多轮AI对话

　　3月28日，阿里云与知名半导体公司MediaTek联合宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，可离线流畅运行即时且精准的多轮AI对话应用，连续推理功耗增量不到3W，实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配。

　　端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理，可大幅降低推理成本、保证数据安全并提升AI响应速度，让大模型可以更好地为用户提供个性化体验。然而，要将大模型部署并运行在终端，需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配，存在技术未打通、开发待完善等诸多挑战。

　　据悉，基于天玑9300芯片，通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现，推理时CPU占有率仅为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，系列指标均达到业界领先水平，可在离线尊龙凯时下流畅实现多轮AI对话尊龙凯时登陆。据了解，相关成果将以SDK的形式提供给手机厂商和开发者。

　　此外，双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配，未来还将基于天玑适配70亿等更多尺寸大模型，支持开发更多AI智能体及应用。MediaTek无线通信事业部副总经理李彦辑博士表示，期待通过双方的合作可以为应用开发者和终端客户提供更强大的硬件和软件解决方案，同时促进生成式AI的端侧部署以及AI应用、AI智能体生态的快速发展。