白皮书主要观点
混合AI将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI,能够在全球范围带来高性能、个性化、隐私和安全等优势。混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。
随着强大的生成式AI模型不断缩小,以及终端侧处理能力的持续提升,混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行,且性能和精度达到与云端相似的水平。不久的将来,拥有100亿或更高参数的模型将能够在终端上运行。
高通作为终端侧AI领导者,面向包括手机、汽车、XR头显与眼镜、PC和物联网等在内的数十亿边缘终端,提供行业领先的硬件和软件解决方案,对推动混合AI规模化扩展独具优势。
高通的AI引擎和软件栈为加速终端侧AI推理提供了解决方案,并具备行业领先的性能和能效优势。凭借一系列基础研究,以及跨AI应用、模型、硬件与软件的全栈终端侧AI优化,持续创新让公司始终处于终端侧AI解决方案的最前沿。
白皮书主要内容