54GB降到4GB，苹果接洽PrismML，模型压缩技术要火？ - 世界杯直播

苹果公司正与初创企业PrismML进行商谈，该公司以其创新的模型压缩技术而闻名，苹果希望借此评估在iPhone上直接运行更大型人工智能模型的可行性。

目前，手机厂商在发布会中展示的AI功能，如内容总结、图像编辑或语音助手交互，往往依赖于云端计算。这是因为主流的大型AI模型体积庞大，难以直接集成到手机等终端设备中，而经过裁剪的端侧模型在能力上又有所欠缺。

PrismML的技术核心在于大幅简化AI模型内部数据的存储方式。它将模型权重限制为二值或三值表示，从而显著降低模型所需的存储空间和运行内存。通常，一个AI模型的参数需要16位或32位精度来存储。以Qwen3.6-27B模型为例，采用FP16精度时，其参数量约为54GB，这使得它难以在智能手机上运行。PrismML通过将其参数简化为1位或3位，可以将模型体积压缩至原有的约1/14，并通过训练恢复推理性能。

基于这项技术，PrismML推出了Bonsai-27B模型，该模型基于Qwen3.6-27B进行微调，在保持完整上下文的同时，将模型大小从约54GB压缩至不到4GB，使其能够原生运行在拥有12GB内存的iPhone上。这使得在有限的存储空间内，能够运行一个拥有270亿参数的模型，其体积与谷歌的Gemma 4 E4B（约3.65GB）相当。

苹果自身在端侧AI模型方面，大约拥有30亿参数，并采用了2位量化和缓存共享等技术，但其功能主要局限于实时翻译、相册搜索和邮件摘要等，缺乏Agent相关的执行能力。而Bonsai-27B模型保留了Qwen3.6-27B的部分Agent能力。尽管PrismML的测试显示，三值版本在综合性能上保留了全精度模型的95%，1位版本约为90%，但在工具调用等Agent关键任务上性能损失更为明显。社区反馈也指出，PrismML的三值版本在幻觉和Agent循环方面仍存在问题，但其体积优势显著，以5.9GB实现了接近17.9GB模型的效果。

值得注意的是，在7月15日，包括苹果智能、华为小艺在内的七款提供手机端侧生成式人工智能模型的服务已完成备案。这表明手机厂商正积极布局端侧AI。将通知摘要、通话整理、相册搜索等功能转移到本地处理，不仅能减轻云端压力，还能更好地保护用户隐私，尤其是在Grok近期暴露的隐私问题后，用户对信息在互联网上传输的顾虑日益增加。

然而，目前大多数手机AI功能仍依赖云端，断网后即无法使用。例如，谷歌在Google AI Edge Gallery推出的Gemma 4 E4B模型，虽然支持断网运行，并且在多模态输入方面表现出色，能够处理文字、图片和音频，但其音频转写和总结功能仍有待提高。在文本处理方面，Gemma 4 E4B能够完成文章总结任务，但对于更复杂的逻辑推理和内容创作，与在线大模型相比仍存在明显差距。

PrismML的技术为硬件厂商提供了一种思路，即在有限的终端空间内集成更大参数量的模型，这可能推动苹果“苹果智能”愿景的实现。未来的AI发展，可能不再仅仅追求参数数量的庞大，而更侧重于模型在有限存储空间内的效率、功耗、散热以及实际应用中的可靠性。

在即将到来的WAIC2026展会上，AI的叙事焦点正从模型参数的堆叠转向Agent生产力的落地，异构协同和光子计算将提升计算能力，而具身智能的加速应用将使机器人真正进入家庭和工厂。

在模型压缩和端侧AI能力提升的背景下，未来的AI发展将更加注重实际应用效果，特别是在需要高效、低功耗运行的移动设备上。这种技术进步为实现更强大的端侧AI能力，例如在足球世界杯期间提供更智能的赛况分析和互动体验，打开了新的可能性。