智能手机的“大模型之战” 苹果已陆续展开了动作

　　原标题：智能手机的“大模型之战” 苹果已陆续展开了动作

　　目前所有的主流智能手机厂商中，苹果几乎是唯一一家，还没有正式发布大模型应用的厂商。

　　过去的2023年，华为率先将大模型接入手机，使得手机可以执行文本生成、知识查找、资料总结、智能编排、模糊/复杂意图理解等复杂任务。之后，其他厂商迅速跟进，比如小米训练出更为轻量级的语言大模型，参数规模为13亿和60亿两种。小米内部认为，轻量级模型也有其存在的市场空间，这是端侧大模型的特殊要求，也是一家智能设备厂商入局大模型的必经之路。

　　在此之后，vivo则推出了蓝心大模型，同样主打轻量化，利于进行手机本地化的数据处理；荣耀则在近日推出了自研端侧70亿参数平台级AI大模型，并宣布与百度智能云达成战略合作；几乎是前后脚，OPPO也将首款70亿参数大模型装进新推出的Find X7上。三星则计划2024年初发布的Galaxy S24系列手机中搭载大模型，旗下笔记本电脑、平板电脑也有可能集成该模型。

　　唯独苹果，对于iPhone何时将搭载大模型能力，目前还没有确切的消息。一位业内人士向钛媒体App表示，“与折叠屏一样，苹果对于新技术的应用，倾向于做好充足的准备后，才会正式推出。”苹果公司CEO库克曾解释道，苹果有计划在更多产品中加入AI，但要“深思熟虑”。

　　不过，苹果已经陆续展开了动作，比如推出了名为Ferret的多模态大语言模型，向新闻及出版机构购买内容版权。iPhone的“AI时刻”，正在加速到来。

　　追求更快的端侧大语言模型

　　虽然苹果还未公开详细的大模型路线，但根据其发布的《闪存中的大型语言模型：在有限内存下高效的大型语言模型推理》论文，外界得以窥见苹果的技术进展。

　　目前，大多数大型语言模型（LLM）都在具有强大服务器硬件支持的云端运营。想要将这类模型装进手机，让数据分析和推理在终端设备上直接完成，就需要智能手机拥有足够大的内存。

　　但是，一个70亿参数的模型就需要超过14GB的内存来加载半精度浮点格式的参数，这超过了大多数网络端点的承受能力。即使通过量化压缩模型，这对于终端设备的内存要求依然过大，且压缩模型通常需要修改模型甚至完全重新训练，也会对于模型的实际应用带来影响。

　　根据上述论文内容，苹果的研发人员似乎找到了突破方法——将模型参数存储在闪存（手机固态硬盘）中，在需要的时候再将数据调入DRAM（手机内存），以此解决LLM运行时，数据处理量超过DRAM可用容量的的难题，不至于压垮系统内存。

　　具体来说，苹果主要运用了两种技术：“窗口化”技术：重复使用此前激活过的神经元，以此减少数据传输；“行列捆绑”技术：针对闪存的数据特征，定制访问数据块的顺序，从而增加从闪存读取的数据块大小。

　　研究人员表示，该方法“为在内存有限的设备上有效推理LLM铺平了道路”。与CPU中的传统加载方法相比，该框架支持DRAM两倍大小的模型，在CPU和GPU中推理速度可分别提升4-5倍、20-25倍。

　　更保守的训练策略

　　与利用爬虫技术获取大模型训练数据的方式不同，苹果的策略偏向保守。这家公司希望与新闻出版机构谈判，寻求利用其内容开发生成式AI系统。

　　据报道，苹果公司近期已经开始与主要新闻和出版机构进行谈判，提出了价值至少5000万美元的多年期协议，以获得新闻文章档案的授权。这些机构包括CondéNast（出版《Vogue》和《纽约客》）、NBC新闻和IAC。

　　不过，《纽约时报》称，出版商可能要承担苹果公司使用其内容产生的任何法律责任，而且苹果公司对其新闻和生成式人工智能计划“含糊其辞”。《纽约时报》还称，苹果公司高管一直在争论如何获取生成式人工智能产品所需的数据。由于注重隐私，苹果公司一直不想从互联网上获取信息，因此与新闻出版商的交易，为其提供了一个另一种选择方案。

　　苹果保守的路线对于生成式AI的发展有利有弊，这一做法的好处是，通过在更有针对性的信息集训练人工智能模型，苹果最终可能会推出更可靠的产品；而弊端在于，苹果大模型的推出时间会被延迟。

　　相较之下，OpenAI的做法则更激进。这家公司用于训练chatgpt的数据，大部分来源于网络信息，但这会导致信息的不准确，甚至出现虚假信息。同时，OpenAI与新闻机构的版权争议，也是一个绕不开的问题。

　　比如，《纽约时报》在2023年12月就以“违法使用数据、抄袭”为由，起诉了OpenAI。《纽约时报》称，OpenAI大模型几乎能一字不差地输出《纽约时报》的报道原文，而且这一输出既没有引用链接，还删除了原文附加的返利链接，这直接影响了自身的流量和实际收入。

　　因此，《纽约时报》认为OpenAI和微软应该为非法使用，需要对“价值数十亿美元的法定和实际损失”负责。此外，两家公司应该销毁任何使用到《纽约时报》版权材料的模型和训练数据。

　　当地时间1月8日，OpenAI在官网发布一篇声明，回击了《纽约时报》最近提起的版权侵权诉讼。OpenAI称，《纽约时报》的证据来自已经在第三方网站流传多年的文章：“他们似乎故意操纵了提示——要么指使模型反刍，要么从多次尝试中精心挑选了示例”、“故意操纵我们的模型来反刍，不是对我们技术的适当使用，也违反了我们的使用条款。”

　　此前，OpenAI还表示，如果不使用受版权保护的内容，就不可能训练当今领先的人工智能模型。

　　事实上，对OpenAI发起诉讼的不止有《纽约时报》。1月5日，两位作家在一项集体诉讼中起诉OpenAI和微软，指控将他们的书用于训练大模型；去年9月，包括《权力的游戏》作者在内的数十位作家也提起了版权诉讼。

　　主动开源，全栈布局

　　与历来封闭的iOS生态形成鲜明对比，苹果的Ferret多模态大语言模型，是以开源方式发布的。这意味着，全球的工程师可以在Ferret的基础上继续发展，而Apple也可以从中获益。

　　另一方面，为了让开发者可以轻松构建针对Apple芯片优化的机器学习(ML)模型，苹果还发布了名为MLX的开发框架。它的与众不同之处在于苹果的灵活性，允许开发人员不受限制地选择他们喜欢的编码语言。

　　同时，MLX可以利用苹果M1和M2代芯片中存在的统一内存系统。也就是说，开发者可以通过CPU或GPU对内存中保存的阵列执行操作，无需将数据从一个移动到另一个。虽然节省的时间只是以毫秒为单位，但每一次节省的时间累积起来，将让模型迭代得更快。

　　英伟达高级科学家Jim Fan表示，这可能是苹果公司迄今为止在开源人工智能方面的最大举措。

　　由于苹果公司在开源MIT许可下发布了其MLX机器学习框架，Apple芯片的一些优势也可以在计算量大的机器学习领域继续保持。如同英伟达创建了自己的CUDA生态，让自家GPU得以大规模应用，苹果的MLX开发框架M系列芯片加上基础大模型底座，苹果在大模型时代可能同时具备软件加硬件的全栈自研体系。

　　据报道，苹果公司还在开发自己的生成式人工智能模型，称为“Ajax”，相当于OpenAI的GPT-n系列的版本。拥有2000亿个参数的Apple大语言模型(LLM)，将成为苹果未来人工智能战略的核心，它的性能可能与OpenAI最新的模型相当。

　　Ajax将使苹果能够在其设备和应用程序生态系统中，支持新的AI集成和功能，而无需依赖Microsoft、OpenAI或Google等第三方模型提供商。

　　The Information和苹果分析师Jeff Pu表示，Apple在过去一年中一直在构建AI服务器，并将在2024年加快步伐。一位分析师估计，苹果仅2023年就在服务器上花费了约6.2亿美元。随着苹果加大在人工智能服务器领域的投入，预计2024年将在人工智能服务器上花费超过40亿美元。