一直以为苹果不参与大模型竞争是放弃 AI 这个赛道了，谁知它竟在憋大招，要重新定义整个软件生态！

2022 年 11 月，ChatGPT 横空出世（一文读懂 OpenAI），AI 开始爆发式增长。到目前差不多一年半时间，AI 创业者们基本都在围绕 Agent、文本优化、内容总结、图像生成、语音生成、数据处理、整合部分自身业务等方面探索。且功能大多是以聊天对话形式为主，网页或 APP 作为载体。苹果没有最强大模型，通过与 OpenAI 合作，将 AI 能力融入到了应用的方方面面。直接在系统层面将 AI 创业者们之前干的事情都做了，这届开发者大会不知又是多少创业者的不眠之夜...

今年苹果开发者大会的主角是 Apple Intelligence^[1]，它是一种结合了生成式模型与用户个人背景的智能系统，成为 iPhone、iPad 和 Mac 的核心（在国内很可能无法使用 AI 功能，或受到诸多限制）。iOS 18^[2]、macOS Sequoia^[3]、iPadOS 18^[4] 和 watchOS 11^[5] 同时迎来重大更新，包括照片应用的重新设计、革命性的生产力工具，以及用户自定义设备的新方式。visionOS 2^[6] 为 Apple Vision Pro 引入了新的交互方式和空间照片更新，tvOS 18^[7] 则在 Apple TV+ 影片和节目中提供了有用的信息（如演员、角色和音乐的及时信息）。Apple Vision Pro 将于本月在中国大陆、香港、日本和新加坡推出（6 月 13 日开始预购）， 下个月在澳大利亚、加拿大、法国、德国和英国上市（6 月 28 日开始预购）。

WWDC24 内容挺多，最令我印象深刻的要数备忘录、计算器和镜像 iPhone 了。而作为程序员，最令人兴奋的可能要数苹果针对开发者放出的 SDK 了，可以将 AI、Siri 等能力集成到自己的应用中，让人不禁感慨：Swift 真的是学了不会吃亏的语言，在 Apple 生态下，啥都能干...

🤔 思考

白板（记事本）或许是生成式 AI 最好的载体，没有固定的输入格式（如手写、键盘、鼠标），没有固定的输出格式（如网页、视频、音频、图片等）。通过某种协议将输入和输出的数据连接起来，就像搭积木一样，让用户自己去创造。

题外话

这部分内容本该放在后半部分，但文章实在是太长了，就稍微调整一下结构。

Apple & ChatGPT 是败笔？

从人工智能（Artificial Intelligence），到苹果智能（Apple Intelligence）...

苹果想在 AI 这个赛道发力，自家模型又不给力，于是就找了目前最强的 ChatGPT 合作。对于此次合作褒贬不一，有人认为这是强强联合；有人认为苹果是黔驴技穷，再难创新；还有人认为苹果找 ChatGPT 是崩溃的开始。关于这几点我想谈谈自己的看法：

• 强强联合：我个人也比较赞成是强强联合，虽说有点无奈之举。大模型从开源到闭源，竞争仍在继续。Claude Opus、Gemini 1.5、Meta Llama 3（400B 还在训练中） 等在某些方面要优于 GPT-4，但从综合能力来看，GPT-4 依然是最能打的。未来的格局必然是被几家通用大模型所垄断，微调小模型层出不穷。苹果当然可以自己去搞通用大模型研发，但这不是朝夕之事，从中短期来看，合作是必然。

• 再难创新：这里我想引用一下摩尔定律，它是指集成电路上的晶体管数量每两年会增加一倍，从而提升计算性能并降低成本，但随着制造技术接近物理极限，这一增长趋势逐渐失效。硬件发展会到达极限，软件也一样，不存在所谓的一直颠覆。但 AI 的加入，必然会让软件爆发出新的活力（比如这次大会中演示的备忘录、计算器）。值得注意的是苹果已将这些能力已经打包成 SDK 提供给开发者，未来一定会有更多的 AI + ? 应用。苹果一直都在专注于生态建设，从 iOS、iPad、Mac、再到 Apple Watch，抹平一些开发上的门槛，力求做到跨平台适配（庞大的软件开发社区就是苹果立于不败之地的根本）。

• 走向崩溃：我在网上看到这样一段锐评，是拿雅虎和 Google 的关系在举例（Google 从幕后走向台前，最终导致雅虎的没落），认为苹果和 ChatGPT 合作是犯了和雅虎一样的错误，是一个愚蠢的决定。我其实并不太赞同这个观点，雅虎是一个门户网站，Google 是一个搜索引擎，它们在本质上没有太大差别，都在为用户推送内容。而苹果则不同，但凡提到苹果，任何人都很难将它的硬件、系统、软件以及生态割裂开来去讨论，缺了任何一个部分，那可能就不是苹果了。所以我并不认为苹果会成为下一个雅虎，因为目前 ChatGPT 只是一个大模型而已，当然不排除它去做系统、做手机、那就另当别论了。

下载 Beta 版

目前 Mac、iPhone、iPad 都可以收到 18 Beta 测试版推送。但非必要不建议更新，可能会导致设备发热，程序运行不稳定等 Bug。

如果你的 Apple 账号未加入过 Apple 开发者计划，系统是不会收到 Beta 安装推送的（在 设置 → 通用 → 软件更新 中只能看到一个 自动更新选项）。正好我的 iPad 切换过账号，不显示 Beta 下载，可以拿来举例：

1. 打开此网址 https://developer.apple.com/account，登录后，点击加入开发者计划。

2. 退出设备上登录的账号，重新登录，在“软件更新”中会多出一个菜单项 “Beta 版更新”。

Apple Intelligence

Apple Intelligence 是苹果推出的个人智能系统，结合了生成式模型的强大功能和用户的个人背景，深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 中。它利用 Apple 芯片的强大计算能力，能够理解和创建语言和图像，跨应用执行任务，并简化日常操作。

当设备算力不足时，Apple Intelligence 通过 Private Cloud Compute 技术扩展计算能力。这些模型运行在由 Apple 芯片支持的服务器上，提供强大的处理能力，同时确保数据不会被保留或暴露。独立专家可以检查运行在这些服务器上的代码以验证隐私，并通过加密技术确保设备与服务器之间的通信是安全的。Private Cloud Compute 技术让 Apple Intelligence 能够处理复杂请求的同时维护用户隐私。主要功能包括：

• 照片应用：通过自然语言搜索照片和视频，使用清理（Clean Up）工具移除背景中的干扰物，并通过 Memories 功能创建故事情节。

• Mail 应用：优先邮件、邮件摘要和智能回复功能，使管理电子邮件更加高效。

• Siri：更深入的系统集成、更自然的语言理解和上下文处理能力，支持通过文字与语音互动，提供上下文相关的智能。

• 图像游乐场：用户可以快速创建有趣的图像，并在信息、备忘录和其他应用中使用。

• Genmoji：用户可以创建个性化的 Genmoji 表情符号，表达自我。

• 通知：优先通知和摘要帮助用户管理重要信息，减少打扰功能仅显示需要立即关注的通知。

• ...

此外，苹果正在将 ChatGPT 集成到平台中，使用户无需在工具之间切换即可利用 AI 的能力。用户可以免费访问 ChatGPT 基本功能（无需注册），而订阅用户可以连接他们的账户，来访问更多的付费功能。无论选择哪种访问方式，苹果都会内置隐私保护措施，确保用户的数据安全，IP 地址会被隐藏，OpenAI 也不会存储请求。

Apple Intelligence 将在今年秋季作为 iOS 18、iPadOS 18 和 macOS Sequoia 的一部分向用户免费开放。

📌 补充

苹果和 OpenAI 的合作是在本周的 WWDC 大会上宣布的，但双方目前并未向对方支付任何费用。据彭博社报道，苹果认为 OpenAI 在数亿苹果设备上的曝光价值等同或高于货币支付。这项协议并非 OpenAI 独享，苹果还在与 Anthropic 和 Google 谈判，计划提供其各自的聊天机器人作为替代选择，预计与 Google 的 Gemini 的协议将在今年晚些时候达成。

苹果利用 OpenAI 的 GPT-4o 模型来支持 iOS 18、iPadOS 18 和 macOS Sequoia 上的各种 AI 任务，但其目标是为用户提供一系列第三方 AI 服务，就像 Safari 浏览器支持不同的搜索引擎选项一样。苹果计划通过收入分成协议从这些合作中赚钱，即从通过聊天机器人货币化结果的 AI 提供商中抽取一部分收入，比如 ChatGPT Plus 的每月 20 美元订阅计划。

苹果预计聊天机器人和大型语言模型（LLMs）将逐渐吸引人们离开传统搜索引擎，这可能影响 Google 支付给苹果的巨额费用，因此收入分成协议可能是弥补收入不足的一种方式。关于 Apple Intelligence 和其与 OpenAI 协议的公告标志着 Apple AI 战略的重大进展，但仍处于初期阶段。苹果计划明年支持更多语言，并考虑与百度和阿里巴巴合作，在中国提供聊天机器人功能。

Siri

借助 Apple Intelligence，Siri 全新改版。全新的设计、更丰富的语言理解以及随时随地输入的能力，使与 Siri 的交流更加自然和方便。Siri 现在具备了个人环境感知能力，能够在应用程序内外采取行动，并了解设备的功能和设置，为用户提供前所未有的帮助。

全新的 Siri 更加智能和个性化。屏幕边缘的优雅光环展示了其新外观，不便说话时可以通过双击屏幕底部来输入。Siri 对设备功能和设置十分了解，使用户在学习新功能时能迅速得到详细指导。增强的语言理解和语音使交流更加自然，且能理解并回应之前提到的内容。

Siri 的屏幕感知能力使其能处理屏幕上的内容，例如将朋友发来的新地址添加到联系人卡片中。它对个人环境的感知，使其能够利用设备上的信息帮助用户找到所需内容，同时保护隐私。Siri 还可以无缝执行跨应用程序的操作，例如发送起草的邮件或将增强的照片添加到便笺中，无需用户动手。

写作

由 Apple Intelligence 驱动的新写作工具可以帮助你在各种书写场景中找到恰当的词语。增强的语言功能使你能够快速总结讲座内容、获取长篇群聊的简要版本，并通过优先通知减少干扰。

iOS 18

iOS 18 允许用户在主屏幕的任何空白处排列应用和小组件，自定义锁屏底部的按钮，并在控制中心快速访问更多控制项。照片应用进行了有史以来最大规模的重设计，照片库在相册中自动组织成新的单一视图，新的精选集让收藏夹更加易于访问。全新的 iMessage 文本效果使任何字母、单词、短语或表情符号都能以动态动画形式出现，使对话更加生动。即使在没有蜂窝或 Wi-Fi 连接的情况下，用户现在也可以通过 Messages（信息）应用进行卫星通信...

😅 Beta 版

iOS 18 已经推送了 Beta 版本安装包，如果你只有一部主力手机，建议等稳定版发布。早期大系统版本更新时经常会出现手机发热，程序运行不稳定等问题。目前功能并未完全开放，即使升级，也只能体验部分功能。

定制化

主屏定制化，这个在安卓上早已玩烂了的功能，现在才被苹果支持，只能说“任性”。功能虽不新鲜，但可以通过自定义图标颜色来适配壁纸还算有点小惊喜。

• 布局：应用图标支持任意位置不连续排布。

• 主题：深/浅色模式图标，且支持自定义颜色。

• 控件：拖拽修改小部件尺寸，以适应屏幕空间。

• 锁屏：自定义锁屏启动图标（默认为手电筒和相机，iPhone 15 Pro 上也可通过 “Action” 按钮来访问控件）。

• 锁定和隐藏：通过使用 Face ID、Touch ID 或密码来访问锁定的应用（应用锁），确保敏感信息不被他人看到（被锁定的应用信息不会出现在通知、搜索、Siri 等中）。还可以将应用移入被锁定的隐藏应用文件夹中，进一步保护隐私（应用文件夹锁）。

• ...

📌 Action 按钮

Action 按钮也称操作按钮，它是 iPhone 15 Pro 的重大硬件升级。虽然只是一个按钮，但其可编程性让用户能够替代旧的静音开关，执行诸如打开手电筒、启动相机或切换勿扰模式等功能。通过与 Apple 的快捷指令应用配对，操作按钮可以实现几乎任何你能想象到的快捷操作，使手机使用更加方便快捷。

备忘录

• 实时音频转录：在备忘录中录制音频会话，并生成可搜索的实时音频转录，你可以将其与其他评论、清单或文件结合使用。

• 数学运算：在笔记中，输入表达式的同时会即时求解并输出。

• 可折叠：使用可折叠的部分标题简化和隐藏文本，方便管理内容丰富的笔记。

• 高亮显示：通过颜色使文本突出。使用新的高亮样式功能，可以更轻松快速地标记笔记，使文本更加醒目。

照片

照片应用重新设计，引入了众多新功能来帮助你快速查找图片。如“精选集”会自动按最近几天、旅行、人物和宠物等主题整理你的资料库，置顶精选集则可让你快速访问重要相册。新的轮播功能以海报样式展示最佳内容，每天带来新的惊喜。

信息

• 在编辑要发送的文字时，除了支持粗体、斜体、下划线和删除线外，还可以为任何文字或表情设置动画效果。

• iPhone 14 及以上版本支持卫星功能，无信号时也可以在 iMessage （短信）或 SMS 上无缝沟通，并且通过卫星发送的所有信息都是端到端加密的。

• 避免忘记重要事情，可以发送定时信息。

• ...

密码管理

所有凭证集中管理，密码应用会安全存储你的密码、验证和安全警报，支持在 iPhone、iPad、Mac、Apple Vision Pro 以及 Windows（通过 iCloud for Windows 应用）上访问。所有密码在设备间安全同步，使用自动填充功能时，密码会自动添加到密码应用中。

Safari 浏览器

• 引入“高亮”功能：Safari 自动检测并高亮显示页面上的相关信息，提供方向和快速链接等有用信息。

• 更智能的全新阅读器：提供目录和摘要，让你在阅读前快速掌握文章要点。

• 号称比 Chrome 更省电，大家可以自行验证。

• ...

其他

• 邮件：根据营销、资讯、重要信息等对邮件进行自动归类，让你可以聚焦在关键信息上（AI 接管人，其实也挺可怕的，会不会成为新的信息茧房）。

• 地图：提供详细的地形图和徒步路线离线下载，它包括美国所有 63 个国家公园（目前对国内用户来说没啥用）。支持语音导航，还可以创建自己的徒步路线。

• 游戏模式：最大化游戏性能，通过最小化后台活动保持高帧率。它大幅减少 AirPods 的音频延迟，并提高无线控制器的响应速度，使游戏体验更流畅。个性化空间音频带来沉浸式音效，让玩家更加身临其境。

• 免提 Siri 互动：通过 AirPods Pro（第二代），你可以用点头表示“是”或摇头表示“否”来回应 Siri，无需出声即可在各种场合使用 Siri。

• 钱包：

• 新增一种快捷又私密的转账方式（Tap to Cash），无需接触或共享任何信息（邮箱或电话）即可完成转账。

• 在 Apple Pay 中新增奖励和分期付款。

• 重新设计的活动票新增了一个活动指南，可以将场地的有用信息与 Apple 应用推荐相结合。

• ...

macOS Sequoia

随时更改窗口布局，专注浏览网页，无线镜像 iPhone。Apple Intelligence 简化并加速各种任务。

主体功能与 iOS 18 功能类似，就不做过多介绍了，值得关注的是 iPhone 镜像。

😅 Beta 版

与 iOS 18 Beta 类似，如果只有一台主力机，也不建议现在更新。

iPhone 镜像

通过 iPhone 镜像功能，可以在 Mac 上查看和控制 iPhone，而无需拿起手机。只需通过 Dock 中的 iPhone 镜像应用，就能随时访问你的 iPhone，使用 Mac 的键盘、触控板或鼠标，无线完全互动 iPhone 及其应用程序（并且支持播放音频）。同时，iPhone 保持锁定状态，确保其他人无法访问或查看你在做什么。此外，还可以在 Mac 上接收和处理 iPhone 通知，与 Mac 通知无缝集成。在使用 iPhone 镜像时，你还可以直接对通知采取行动并打开相应的应用程序。

设备间的无缝拖放功能，使你能像在 Mac 上拖放应用一样轻松地在 iPhone 和 Mac 之间移动文件、照片和视频，实现更高效的工作流（今年晚些时候推出）。

生产力

窗口平铺

将窗口拖动到屏幕边缘，即可轻松将其排列为桌面上的并排平铺，或将其放置在角落以显示更多应用程序。

演示者预览

在视频通话应用中共享之前，先查看你将要共享的内容——整个屏幕或单个应用程序。

背景替换

通过内置的美丽背景或你自己的照片来表达自我或隐藏杂物，同时行业领先的分割技术帮助你展现最佳状态。

游戏

利用 Metal 3 和 Apple 芯片，开发者推出的新游戏和即将发布的游戏，提供流畅的帧率和高质量的视觉效果。

iPadOS

在 iPadOS 18 中，iPad 体验变得更加多样和智能，新增功能和应用专为 Apple Pencil 设计。计算器应用首次登陆 iPad，并配备数学笔记功能，用户可以输入或书写数学表达式，并立即以手写形式看到解答结果。备忘录应用中的新手写工具，包括智能脚本（Smart Script），使手写笔记更加流畅、灵活且易于阅读。Safari、照片、信息、密码管理等更新与 iOS 18 类似，不做过多介绍。

计算器 & 数学笔记

首次登陆 iPad 的计算器应用带有数学笔记功能，允许用户输入或书写数学表达式，并即时以手写形式查看解答结果。新增的图形功能可以让用户输入方程并插入图表，数学笔记会自动在备忘录应用中的新数学笔记文件夹中可访问。

笔记

手写增强

智能脚本（Smart Script）使手写笔记更加流畅、灵活且易于阅读，并能实时平滑和拉直手写文本。编辑手写文本也变得像编辑打字文本一样简单。

内容折叠

应用还增强了打字文本的功能。为了增加便利性，用户现在可以通过折叠标题或子标题下的部分来组织笔记内容。对于需要突出显示的信息，用户可以选择五种新的文本高亮颜色。

图像游乐场

用户可以在几秒钟内创建有趣的图像，选择动画、插图或素描三种风格。图像游乐场易于使用，内置于 Messages、Freeform 等应用中，也可以通过专用应用访问。在备忘录中，用户可以通过 Apple Pencil 工具栏中的新图像魔棒访问图像游乐场，使笔记更加生动。

个性化选项

用户可以通过全新方式自定义主屏幕、应用图标和控制中心，应用图标和小部件可以放置在主屏幕上的任何位置，并选择浅色、深色或带色调的显示方式。控制中心也进行了重新设计，提供更方便的访问和更多的自定义选项。

Freeform

Freeform（无边记） 通过场景功能，让你可以组织和重新排列内容，按部分展示白板，并通过链接与他人分享。改进的绘图模式让你更轻松地在画布上连接形状、图像和思路。通过网格对齐，可以按自己的喜好排列白板内容。

visionOS 2

在初次发布几个月后，visionOS 2 为 Apple Vision Pro 引入了强大的空间计算体验，包括用户使用现有照片库创建空间照片的新方法，直观的手势轻松访问重要信息，以及 Mac 虚拟显示器、旅行模式和访客用户的新功能。visionOS 2 还引入了令人兴奋的新功能，如正念应用中的“跟随呼吸”，照片的 SharePlay 以及电视应用中的多视图功能。

watchOS 11

watchOS 11 提供强大的健康和健身洞察，以及更多个性化体验。

watchOS 11 提供强大的健康和健身洞察以及更多个性化体验。新的 Vitals 应用显示关键健康指标，训练负荷测量功能带来新的锻炼体验，活动环（Activity rings）更加可自定义。智能叠层和照片表盘通过智能技术实现个性化，Apple Watch 和健康应用为怀孕用户提供支持。Check In、翻译应用和双击手势的新功能增强了 Apple Watch 的连接性和便利性。

Apple 开发者 SDK

因 Apple Intelligence 是 iPhone、iPad 和 Mac 的核心，所以这些平台上开发的应用均可借助 Apple Intelligence 来实现功能。除此之外，每个平台上还有一些特定 SDK 可供使用。这里不做过多介绍，感兴趣的朋友可以查看文档：

• WWDC24 iOS & iPadOS guide^[8]

• Get ready for iOS 18^[9]

• Get ready for macOS Sequoia^[10]

• Get ready for iPadOS 18^[11]

• Discover visionOS^[12]

• Get ready for watchOS 11^[13]

• Get ready for tvOS 18^[14]

Apple Intelligence API

以下功能均可在自己的应用中集成：

• 写作工具在系统范围内可用，帮助重写、校对和总结文本。

• 图像游乐场 API 使用户能够创建有趣的图像。

• Genmoji 允许用户为任何场合创建表情符号。

• Siri 可以访问应用中的文本，并执行数百种新操作。

了解更多 Apple Intelligence SDK^[15]

References