苹果推出了一种名为创新大模型压缩技术的新技术,这项技术将大模型有机会塞进手机里。通过这项技术,苹果手机用户将能够更轻松地存储和传输大型数据文件,而无需担心存储空间不足的问题。 苹果表示,大模型是指那些占据了大量存储空间的数据文件,例如视频、音频和图像等。这些文件通常需要大量的存储空间,而且往往无法直接存储在手机中。通过创新大模型压缩技术,苹果可以将这些大型数据文件进行压缩,使其更易于存储和传输。 据苹果公司介绍,这项技术已经在公司的手机中得到了应用,用户可以通过更新手机软件来体验这项新技术。苹果表示,这项技术将使手机存储空间更大,同时还能提高数据传输速度和文件访问速度。 苹果的创新大模型压缩技术为用户提供了更高效的数据存储和传输解决方案,同时也为手机制造商提供了一种新的竞争优势。

2023-09-25 14:22:00 苹果电子产品商贸（北京）有限公司

• 大模型的内容安全问题导致人们希望能够在终端设备上完成模型训练和运行。对于手机等移动设备来说,大模型的权重数据显得尤为庞大。大型语言模型(LLM),尤其是生成式预训练Transformer(GPT)模型在许多复杂的语言任务上表现出了出色的性能。这一突破使人们希望在移动设备上本地运行这些LLM,以保护用户隐私。然而,即使是小型LLM也太大,无法在这些设备上运行。为了在设备上运行小型LLM,需要进行训练时间优化(如稀疏化、量化或权重聚类),这是设备上LLM部署的关键步骤。然而,由于模型大小和计算资源开销,LLM的训练时间优化非常昂贵。权重聚类是一种非线性权重离散化,权重矩阵被压缩成一个查找表和查找表的低精度索引列表,现代推理加速器可以处理这些索引。例如,一个LLaMA 7B模型仅计算4 bit权重聚类的注意力图就需要至少224GB的内存。解决这个问题的方法之一是使用内存优化技术,如跨设备张量编排和权重矩阵唯一化及分片。在本文中,研究者提出了eDKM,一种基于内存优化技术的LLM压缩方法,以实现训练时间权重聚类及其在DKM中的应用。本文使用的技术包括跨设备张量编排和权重矩阵唯一化及分片。在使用eDKM对LLA 7B模型进行微调并将其压缩为每个权重因子占位3bit时,研究者实现了解码器堆栈约130倍的内存占用减少,优于现有的3bit压缩技术。提高D

  

• Apple 于 1984 年推出 Macintosh，为个人技术带来了巨大变革。今天，Apple 凭借 iPhone、iPad、Mac 和 Apple Watch 引领全球创新。Apple 的三个软件平台，iOS、OS X 和 watchOS，带来所有 Apple 设备之间的顺畅使用体验，同时以 App Store、Apple Music、Apple Pay 和 iCloud 等突破性服务赋予人们更大的能力。Apple 的 100,000 名员工致力于打造全球顶尖的产品，并让世界更加美好。

• 招聘范围主要集中在上海、北京、厦门，主要招聘经验要求为1-3年，学历要求为大专的岗位。

• 公司参与招标16次，招标金额为14397.47（万元），公司参与中标145次，中标金额为370.49（万元），最近项目为：深圳万象城苹果零售店室内装修工程、深圳万象城苹果零售店室内装修工程、武汉国际广场苹果零售店室内装修工程。