盘符宝适用于几乎所有生成式AI应用和终端领域,高通提出了云边一体的混合AI路径,该公司已有相关产品支持混合AI计算架构。

2023-06-17 00:02:00 高通公司

  • 财联社资讯获悉,高通技术公司发布白皮书《混合AI是AI的未来》,深入阐述混合AI架构的领先优势,终端侧AI将如何赋能生成式AI实现规模化扩展,以及公司如何凭借终端侧AI领导力、全球化规模和生态系统赋能,让混合AI成为现实。 一、混合AI带来高性能、个性化、隐私和安全等优势 据高通混合AI白皮书,在混合AI场景中,边缘大模型是云端大模型的感知器官,例如用户对手机说话,自动语音识别(ASR)AI模型如Whisper在设备上转换语音为文本,发送到云端,云端运行大模型,回发文本答案。在进阶版本中,设备AI更进一步保护隐私,承担更多处理,提供更个性化的提示给云:通过设备学习和个人数据,设备创建用户个人形象,与调度程序协作,基于上下文提供更好的提示;例如,用户要求手机预约和朋友在最爱餐厅吃饭,对简单查询,较小的大模型可在设备上运行无需云交互,如果用户需要复杂信息,则本地将需求转化为提示发给云端大模型并返回详细答案。 据高通混合AI白皮书,混合AI主要有以下优点: 1)经济性:降低云端推理成本、高效利用边缘算力、降低AI应用开发门槛; 2)能耗低:边缘设备可以以较低能耗运行大模型,若考虑处理和数据传输等因素,能耗节约更加显著; 3)可靠性:边缘AI不受网络状况影响,运行更加稳定; 4)隐私性:数据完全在本地推理,大幅降低泄密风险; 5)个性化:边缘设备可以搜集用户真实生活中的行为、价值观、痛点、需求、关注问题等信息形成定制化服务。 二、混合AI策略适用于几乎所有生成式AI应用和终端领域 混合AI将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。 高通指出,随着强大的生成式AI模型不断缩小,以及终端侧处理能力的持续提升,混合AI的潜力将会

    高通公司
  • 公司参与招标1次,最近项目为:高通公司资产评估审计服务1采购候选人公示。

网站地图 用户协议 隐私政策 京ICP备18021895号 版权所有:北京百炼智能科技有限公司 友情链接: 百炼智能 潜客宝 知了标讯