微软个人助理来了！Copilot是最好的AI产品形态，插件将成为新的平台模式

面向整个 AI 时代，微软召开了 Build 开发者大会。

累积 50 多项发布/更新，微软 CEO 萨提亚·纳德拉、CTO、GitHub CEO 等人轮番上场，也邀请到 OpenAI 的 CTO Greg Brockman 坐镇，这是一次高度密集的发布会，从中我们也能看到「近水楼台」的微软对 AI 时代产品和平台的理解。

纵观整场发布会，微软正在滴水不漏地将它从 OpenAI 那里获得的能力，注入到全公司和系统的每一个角落。

他们也在与 OpenAI 一起，思考下一个时代的平台应该是怎样的，他们定义标准，开发工具，利用先发优势，稳稳地抓着话语权。

本文分为三个部分：

1、本次 Build 大会的重点发布；

2、微软和 OpenAI 两家公司 CTO 的对谈；

3、微软 CTO 专访内容提要。

微软着重强调了两个概念：copilots 和 plugins。

这两个关键词频繁地出现在整场发布会中。

Copilot 代表了微软对于 AI 应用产品形态的理解，可以从下面这个视频里感受下微软对 Copilot 的重视。

Plugins 则代表了微软作为传统平台和 OpenAI 作为崛起中的新平台，对于合作的理解。微软采用了和 ChatGPT 同样规格的 Plugins，Bing 搜索也会作为一种「插件」，加入 ChatGPT Plus 的服务中。

Copilots

个人助理，无处不在

Windows Copilot，系统级个人助理

微软将在 Windows 11 中加入 Copilot 功能，类似 Edge、Office 等产品已经推出的 Copilot 模式，像侧边栏一样集成在系统里。

「一旦打开，Windows Copilot 侧边栏会伴随你使用应用、程序和各种窗口，始终作为你的个人助理。」

它可以总结你在不同应用中看到的内容，解释、重写它们，用户可以用自然语言与它交互、提问。

它独立于 Windows 11 现有的搜索栏，一个独立的 Copilot 按钮。

Windows Copilot 与 Bing Chat 规格一致，开发者可以用他们为 Bing 或者 ChatGPT 开发的插件，接入 Windows Copilot。

「AI 将彻底改变你在 Windows 上做任何事的方式。」

微软将于 6 月公测 Windows Copilot，向所有 Windows 11 用户推送。

Microsoft 365 Copilot 集成到 Edge 浏览器

微软将 MS365 的 Copilot 功能集成到浏览器中，用户可以用来查看和处理网页上的 MS365 相关内容，如邮件、Word、Excel 等。

Windows Terminal（终端）也有 Copilot

Windows 终端与 GitHub 集成，接入 GitHub Copilot。

用户可以直接在终端中使用 Chatbot 执行操作、获取代码推荐和找 bug。

Plugins

标准化，新平台模式

Bing 植入 ChatGPT，成默认搜索

从今天起，ChatGPT Plus 用户可以在 GPT-4 的模式选择中找到 Bing 搜索接入。

因为微软与 OpenAI 的投资、合作关系，Bing 成为 ChatGPT 默认的搜索引擎。

微软还承诺使用与 OpenAI 用于 ChatGPT 相同的开放插件标准，从而实现 Bing Chat、微软 Copilot 平台和 ChatGPT 插件之间的交互操作性。

MS365 支持插件

开发者现在可以把应用和服务集成到微软 365 Copilot 中，规格 API 与 ChatGPT 和 Bing 的插件相同。

目前包括 Teams 消息拓展，Power Platform 连接器，以及 ChatGPT 已经介入的插件。

还有很多第三方插件，比如 Adobe 旗下的产品。

开发人员将能够使用 Microsoft Teams Toolkit for Visual Studio Code 和 Visual Studio 轻松构建 Microsoft 365 Copilot 的新插件。他们还可以通过将他数据引入 Microsoft Graph 来扩展 Microsoft 365 Copilot，使用最近发布的 Copilot 语义索引将相关和可操作的信息置于上下文中。正式发布后还将提供数千个插件。

其他重点发布

平台化搭建 AI 基础设施

Azure AI studio

Azure AI Studio 是 Azure OpenAI 服务中的一项新功能，可让客户将 OpenAI 的 ChatGPT 或 GPT-4 等模型与他们自己的数据（文本或图像）结合起来，并构建一个聊天助手或另一种「推理」私人数据的应用程序。

微软一位负责人说：「在我们的 Azure AI Studio 中，我们让开发人员可以轻松地将 Azure OpenAI 服务模型建立在他们的数据上...... 并且安全地执行此操作，而无需查看该数据或不必在数据上训练模型。」

Azure AI Studio 的价值主张是允许客户在他们自己的数据上利用 OpenAI 的模型，符合他们的组织政策和访问权限，并且不会影响安全性、数据政策或文档等。客户可以选择集成其组织拥有或有权访问的内部或外部数据，包括结构化、非结构化或半结构化数据。

借助 Azure AI Studio，微软正在推动使用其云托管工具构建的定制模型。随着 Azure OpenAI 服务的持续增长，这是一条潜在的有利可图的收入线——微软表示，它目前为超过 4,500 家公司提供服务，包括 Coursera、Grammarly、沃尔沃和宜家。微软正在推动使用自家云托管工具构建的定制模型。

Azure AI Content Safety

微软正在推出一项新的人工智能审核服务，据称该服务旨在营造更安全的在线环境和社区。

Azure AI Content Safety (内容安全) 将帮助企业创建更安全的在线环境和社区。并且还向 Azure 机器学习引入了新工具，包括扩展对文本和图像数据的负责任 AI 支持，使用户能够在模型生成、训练和/或评估阶段评估使用非结构化数据生成的大型模型。

根据微软的说法，它可以防止有偏见、性别歧视、种族主义、仇恨、暴力和自我伤害的内容，这是微软完全管理的、以企业为中心的产品，旨在让企业能够访问 OpenAI 的技术，并增加治理和合规性功能。

这项功能有助于用户在部署模型之前识别模型错误、公平性问题和模型解释，从而获得性能更高、更公平的计算机视觉和自然语言处理（NLP）模型。

AI 时代的数据分析：Microsoft Fabric

纳德拉称，Microsoft Fabric 是微软继 SQL 之后带来的第二大数据产品。全新发布的 Microsoft Fabric 是一个统一的分析平台，整合了数据工程、数据集成、数据仓库、数据科学、实时分析、应用可观测性和商业智能服务，所有这些都连接到一个名为 OneLake 的数据存储库中。它使所有技术级别的客户都能在单一、统一的体验中体验功能。

Microsoft Fabric 全面融入 Azure OpenAI 服务，在各个数据相关的操作体验中都提供了 Copilot，因此不同技术水平的用户，都能通过自然语言对话的方式进行自己所需的操作并获取直观洞察，如创建数据流和数据管道、生成代码和完整函数、构建机器学习模型，或者是将结果以可视化的形式表现出来。用户甚至可以把他们用 Azure OpenAI 模型和自有数据相结合所打造的独特的数据体验，整合成一个新的插件公开发布。

CTO 之间的对话

工程奇迹诞生于枯燥日常

在 Build 大会上，微软 CTO Kevin Scott 与 OpenAI CTO Greg Brockman 进行了一场简短的对话，过程中他们聊到了 ChatGPT 的想法如何诞生，OpenAI 如何构建复杂如 GPT-4 这样的工程， 以及双方对于插件模式的理解。

微软 CTO Kevin Scott 原本任职 LinkedIn，被微软收购后，2017 年开始担任微软 CTO，不久便与 OpenAI 开始接触。他全权负责微软与 OpenAI 的合作，并掌管微软所有的 GPU。

访谈后面还有科技媒体 The Verge 对 Kevin Scott 长达一小时采访的亮点纪要。

附上现场视频，字幕为机器转写翻译。

以下是访谈内容，经 Founder Park 编辑。

Kevin

非常感谢你来 Build。我想从 ChatGPT 的体验开始。

我相信，我们所有人都非常意外，它在短时间内收获了如此多的用户，人们的关注度那么高。

但是构建 ChatGPT 是一个巨大的工程挑战，我们先聊聊这个问题吧。

Greg Brockman

不论从基础设施角度还是机器学习的角度来看，（打造）ChatGPT 都是一个非常有趣的过程。

其实我们考虑做一个对话系统已经很多年了。之前在 Build 上我们还演示了早期的版本，WebGPT，非常酷，一次很有趣的 demo。

我们有几百个合同商，他们真的在付费使用那套系统，他们都说还挺好用的。它对编码任务有一些帮助。

但对我来说，真正点燃灵感火花的时刻，是 GPT-4 的时候。

GPT-3 的时候我们刚刚部署了基础模型，它经过了预训练，我们没有朝任何方向进行调整和优化，它就是 API 中供大家使用的内容。

GPT-3.5 的时候，我们已经到了下达指令（instruction），合同商可以拿来完成他们下达的指令。

我们在 GPT-4 上直接做了这样的训练。有趣的是，我做了一个小实验，如果你在它生成内容后再提供第二个指令会发生什么？模型给了一个完美的回复，把之前所有的内容都考虑在内了。

所以，你就意识到这个模型的能力足够了。

它真正生成了这样的想法：如果你真的想让我遵循指令并给出新的说明，那你可能是想跟我做一个对话。

所以对我来说，这是一个恍然大悟的时刻。

我们已经在早期的模型中建好了基础设施。这个新模型，就算只是用并非为对话打造的技术，它也想要像在聊天一样完成工作。

所以这是一个真正的 aha moment。从那时起，我们就意识到，必须实现这件事。

Kevin

我也很惊讶。我记得 Sam 给我打电话，说你们准备发布一个叫 ChatGPT 的东西，还需要几周时间来调整这个模型。

我说好啊，why not？我当时真的没意识到它会取得如此的成功。

所以就这点来说，我知道你是给 GPT-4 做训练的基础设施的核心架构师之一， GPT-4 为 ChatGPT 提供了部分能力，对一直在 AI 领域工作的人来说，这的确很有启发。

所以我想请你分享一些 GPT-4 开发方面的有趣的事。

Greg Brockman

GPT-4 真的是我们公司为爱发电的作品（a labor of love）。

实际上，GPT-3 之后，我们很多次尝试超越那个模型的性能， 都宣告失败了。

这并不容易。

我们最终回到了起点，重建了整个基础设施，采取了很多方法，努力把每个细节都处理好，当然还存在很多错误和待发现的问题。

Jacob 是项目负责人之一，他的一个比喻我非常喜欢，说我们就像造火箭一样，你希望把所有工程公差都降到最低，所以必须处理很多小细节。

比如以前我们会发现在检查点（checkpoint）里有个bug，如果你在那个错误的时间点 kill the job，可能就会导致新权重和旧权重混合（blend）。

机器学习大多数时候并不关心这个问题，它可以恢复过来。

但每次你看到图标出现奇怪的波动时，你就会想知道这是否是那个特定问题，还是其他什么真实存在的问题。

所以你就得返回去注意每个细节，做好无聊的工程工作，这基本上是我的主要工作。

Kevin

但你们从事的枯燥无聊的工程工作，规模是难以置信的、现象级的。

但我认为你说的对在场的每个人来说都是一个很好的寓言：有时候就是那些看似无聊的工作，真正带来了成功。

萨提亚（纳德拉）在演讲中提到了我们正在开发用于插件（Plugins）的共享方法，让这里的每个人编写软件并扩展ChatGPT和我们正在打造的所有Copilot项目的功能能力。

我知道这也是一个有趣且极具挑战性的技术问题，并且我们仍然没有解决所有技术问题，还需要做很多才能让它达到终极形态。

你在这方面有什么想法？

Greg Brockman

我很喜欢插件，这对每个开发者来说都是一个很棒的机会，可以利用它让系统变得更好。

这是令我感到兴奋的事情。

我们把它设计成一个开放标准（open standard）的部分原因，是因为作为一个开发者，你只需要构建一次，就可以让任何 AI 使用它。这是一个美妙的想法，不是吗？

我认为真正推动 Web 普及，是任何人都可以建立一个网站，每个人都可以访问它。

现在你构建一个 API，每个人都可以利用它。

我认为这种核心的设计原则非常 amazing：让想要 plug in 的开发者们，获得系统的能力，然后把他们，各个领域里的功能带入 ChatGPT。

Kevin

我最喜欢 Plugins 的一点，它是如此的简单。我想起我写的第一个HTTP服务器。

如果你理解核心概念，你可以很快地建立起一些强大的东西。它们真的能做一些功能强大的事情。

作为一名工程师，我认为这是一件很棒的事情。所以在 OpenAI 中担任你的角色，你会不断思考如何推动技术的极限。

我觉得我们的合作，最让我感到惊叹的，是和你，你们所有人一起工作，真的让我感觉能够看到比我们原本看到的更远一点的未来。

所以我想知道你对未来的看法，有什么让你感到兴奋，不论是应用还是模型本身。

Greg Brockman

对我来说有趣的事，我们在一个类似 Tick-Tock 周期上，就像英特尔那样，在创新之后你会真的推动它进步。

在 GPT-4 发布后，我真的感到我们在努力推动技术进步，处于这样的一个早期阶段，我们还有已经公布但还未产品化的视觉能力，这将改变这些系统的运行方式和感受方式，以及构建于其上的产品类型。

所以我非常兴奋。如果你回顾过去几年的历史，我们在两年前降低了 70% 的价格，过去一年，降低了 90% 的成本。

这太疯狂了对吧，太疯狂了。

而且我认为我们能通过新模型和 GPT-4 做到同样的事。现在它很贵，并不完全可用，但我相信这点会有所改变。

Kevin

我认为这是我想告诉在座的每个人的一件事，也是我们对微软内部所有开发人员说的，那就是在这些技术基础上构建的东西，比如今天昂贵的东西，明天就可能不再昂贵，因为进展速度非常惊人。

你已经给在座的开发人员提供了许多非常好的建议，还有什么想告诉观众的吗？

Greg Brockman

我认为在这个领域，技术显然越来越好。但对于我们甚至是微软这样的规模来说，每个开发人员都能做到的一件困难的事情是真正进入特定领域，弄清楚如何使这项技术在那里发挥作用。

所以我非常喜欢法律公司，从那里我能获得很多专业知识，与许多律师切身交流，我也能够了解他们使用这项技术的痛点。

所以我认为每个人的努力都能够增加巨大的价值。

Kevin

太棒了！像 Greg 说过的那样，你们才是将 AI 变得伟大的人。

非常感谢你，Greg。

Kevin Scott访谈

OpenAI和微软合作的更多细节

为什么 Copilot 是最好的形态？

「我们将把 AI 和 LLM 植入一切」，微软把这个想法成为 Copilots。

Kevin 最喜欢的事 GitHub Copilot，「你可以和大模型对话，让他们做一些认知上复杂的事。」

「GitHub Copilot 是我们开发的第一个工具，它帮助人们编写代码，完成软件开发者的工作。很快，我们就意识到这是一种新型的软件模式，不仅仅是 GitHub Copilot，还有很多其他 Copilot，你可以把 Bing Chat 和 ChatGPT 看作一种 Copilot，Microsoft 365 和 Windows 终端也有 Copilot。」

「当我们开发这些东西的时候，它们在架构和用户界面上有很多相似之处，我在 Build 大会上的演讲就是这个内容，因为我们相信很多开发者会开发出更多的 Copilots。」

「让它（Copilot）与众不同的是，当你了解客户或者深入了解一个问题时，你就会成为开发 Copilot 的最佳人选，帮助别人完成这些工作。这绝不是一家公司的工作，所以我们希望把打造 Copilot 的工具交给每一个人。」

「我对 Copilot 成为 AI 愿景更感兴趣的原因，是因为我更希望开发一些东西，让那些有创造力的人，去做一些他们现在可能无法想象的事。并不是说机器变好了我们就不需要人类创造者了。这不是我们想要的。」

「我觉得首先要想的是，你希望你的平台做什么。」

「当你在打造一个平台的时候，你需要决定你想在这个平台上鼓励什么。我们想让人们更容易地打造辅助工具。」

为什么选择 OpenAI 合作

对于微软选择 OpenAI 作为合作伙伴的原因，Kevin 表示：「我们的指导原则是：微软是一家平台公司」。

因此注重构建能够满足 AI 领域最高期望的平台。Kevin 强调 OpenAI 对于自身所做的事情有着平台愿景，这与微软作为一家平台公司的定位相契合，因此他们决定共同构建这个平台。

在谈到 OpenAI 和微软的合作内容时，Kevin 解释道：「OpenAI 在开发微软依赖的一系列核心 AI 技术，它不只是一个模型。微软现在有完整的组合框架来制作完整的 APP。」

因此他们与 OpenAI 的合作是为了共同推动产品的发展、规模化实施和部署。Kevin 还指出，OpenAI 更注重模型科学，而微软更关注基础设施。两者通过紧密合作来互补彼此的产品和专长。

分歧

关于双方的分歧，Kevin 指出：「就我个人而言，Altman 和我的分歧相对较少，但是我们的团队在整体方法方面存在意识形态上的分歧，但我认为现在的分歧比以前少了。」

控制

对于微软是否在控制 OpenAI 的问题，Kevin 明确表示：「他们只是我们的合作伙伴，我们只是在共同完成的事情上保持一致。我们一开始需要的是外部动力推动我们，防止我们出错。而且作为一家大型公司，也很容易被孤立。」他强调 OpenAI 是一个独立的合作伙伴，拥有自己的公司规划，但与微软之间有紧密的一致性。双方的独立性对于建立成功的合作伙伴关系至关重要。

微软的 AI 运营&投资

Kevin 负责协调和决策整个公司的 AI 活动，并「掌握着全公司的 GPU 预算」。（他说这一份可怕的工作）

微软在资金分配上采用了一种基于证据和业务影响的策略。大部分投资（约 85% 到 90%）都是针对已经证明有效且预计将获得更多回报的领域。而剩下的 15% 则用于冒险性的种子投资。

微软选择与 OpenAI 合作，也是出于类似的决策原则。Kevin 将 OpenAI 视为一颗种子，希望通过投资和资源支持，推动其进一步发展。这种合作方式符合微软的决策风格，他们愿意探索新的可能性，以实现创新的突破。

如他所说，「不是因为你看起来很聪明而做某事，而是做一些表明我们正处于某些事情的开始部分的事情」。

模型 or 产品？

在谈到 AI 模型时，Kevin 指出：「这些模型根本不是产品。它们是基础设施。它们是您用来制作产品的积木，但它们本身并不是产品。」

对于构建应用程序来说，完全依赖基础设施提供商是更有效的方式。

Founder Park 正在招募新的 AGI 观察者