苹果正在为iPhone开发自己的AI助手，能够代替用户启动应用程序

苹果正在开发一款紧凑型本地 AI 代理，用于处理用户界面

苹果正研发一种新算法——Ferret‑UI Lite，它能够“理解”应用程序的界面并代表用户与之交互，所有操作都在设备上完成。该模型拥有30亿参数，在测试中表现可与甚至超过大约24倍更大的大型模型相媲美。

项目起源
2023年12月，一组九名研究人员发布了论文《FERRET: Refer and Ground Anything Anywhere at Any Granularity》。文中提出了一种多模态语言模型，能够在不同类型的数据上训练，并将文本描述与图像的具体部分关联起来。

此后苹果扩展了 Ferret 系列：

Ferret‑UI 主要解决了当代多模态大型语言模型（MLLM）在 UI 元素识别方面的不足。该模型在 Ferret 上添加“任意分辨率”，提升图像细节，并利用改进的视觉特征。

最新突破
苹果最近推出了两个新版本：

1. Ferret‑UI Lite – 轻量级模型，30亿参数，针对移动设备本地运行进行了优化。
2. Ferret‑UI 2 – 扩展版，支持多平台并提供更高分辨率的截图。

Ferret‑UI Lite 与大型服务器模型最大的区别在于，它在显著降低计算需求的同时保持了竞争力。

重要性
大多数现有 GUI 代理依赖庞大的基础模型，因为它们强大的推理和规划能力能够在图形界面导航中取得卓越成果。然而，这些模型过于臃肿，无法直接在设备上运行。

Ferret‑UI Lite 通过结合以下要素来解决这一难题：

- 多个关键组件与小型 LLM 的训练思路
- 来自不同 GUI 领域的真实和合成数据
- 动态裁剪技术及界面分割质量优化
- 可控微调与强化学习

最终得到的模型在低层次 UI 元素绑定、屏幕内容理解、多步规划以及自我分析等任务上，几乎与甚至超过了更大型的竞争性 GUI 代理。