现代人工智能的曙光：理解GPT
2018 年，OpenAI 推出 GPT（生成式预训练 Transformer）时，人工智能研究界以外的人几乎无人能预料到它会如此显著地重塑我们与科技的关系。最初的 GPT 模型基于丰富的互联网文本语料库进行训练，展现出令人惊叹的能力，能够根据简单的提示生成连贯且上下文相关的文本。
GPT 的革命性不仅在于其规模（尽管在当时，其 1.17 亿个参数规模已显得十分庞大），还在于其底层架构。谷歌研究人员在其论文《Attention is All You Need》中提出的 Transformer 模型，在处理文本等序列数据方面表现出色。与之前逐个处理 token 的循环神经网络不同，Transformer 模型可以通过其自注意力机制同时分析整个序列。
这种并行处理不仅加快了训练速度，还使模型能够更好地捕捉文本中的长程依赖关系。突然之间，人工智能能够“记住”前几段提到的内容，并在较长的输出中保持主题的一致性。这是机器生成的文本第一次真正地变得像人类一样。
GPT 的革命性不仅在于其规模（尽管在当时，其 1.17 亿个参数规模已显得十分庞大），还在于其底层架构。谷歌研究人员在其论文《Attention is All You Need》中提出的 Transformer 模型，在处理文本等序列数据方面表现出色。与之前逐个处理 token 的循环神经网络不同，Transformer 模型可以通过其自注意力机制同时分析整个序列。
这种并行处理不仅加快了训练速度，还使模型能够更好地捕捉文本中的长程依赖关系。突然之间，人工智能能够“记住”前几段提到的内容，并在较长的输出中保持主题的一致性。这是机器生成的文本第一次真正地变得像人类一样。
扩展时代：从 GPT-2 到 GPT-3
如果说 GPT 是一个概念验证，那么 GPT-2 则是公众开始领悟人工智能潜力的契机。GPT-2 于 2019 年发布，拥有 15 亿个参数，其生成的文本令人信服，以至于 OpenAI 最初以担心潜在滥用为由推迟了其完整发布。该模型可以撰写连贯的新闻稿件，构建有说服力的论点，甚至可以创作具有一致人物和情节的虚构故事。
但真正的分水岭出现在 2020 年的 GPT-3。它拥有 1750 亿个参数——比 GPT-2 大 100 多倍——代表了能力的质的飞跃。该模型展现了研究人员所说的“涌现能力”——这些技能并非经过专门训练，而是通过规模化和接触多样化数据而发展起来的。
或许最引人注目的是，GPT-3 展现出了基本的“小样本学习”能力。只需输入几个示例，它就能适应新的任务，例如翻译、摘要，甚至基本的编程。人工智能领域开始认识到规模不只是逐步提高性能，它从根本上改变了这些系统的功能。
但真正的分水岭出现在 2020 年的 GPT-3。它拥有 1750 亿个参数——比 GPT-2 大 100 多倍——代表了能力的质的飞跃。该模型展现了研究人员所说的“涌现能力”——这些技能并非经过专门训练，而是通过规模化和接触多样化数据而发展起来的。
或许最引人注目的是，GPT-3 展现出了基本的“小样本学习”能力。只需输入几个示例，它就能适应新的任务，例如翻译、摘要，甚至基本的编程。人工智能领域开始认识到规模不只是逐步提高性能，它从根本上改变了这些系统的功能。
超越尺寸：通过 RLHF 进行细化
尽管 GPT-3 令人印象深刻，但它生成的文本仍然可能存在事实错误、带有偏见或不恰当之处。下一个突破并非在于扩大模型规模，而是使其更符合人类的价值观和意图。
进入基于人类反馈的强化学习 (RLHF)。这种训练方法引入了人类评估员来评估模型输出，从而形成反馈循环，帮助 AI 理解哪些响应是有帮助的、真实的且无害的。事实证明，使用 RLHF 训练的模型（例如 ChatGPT 和 Claude）在减少有害输出的同时，在日常任务中更加实用。
RLHF 标志着 AI 开发理念的重大转变。单纯的预测能力已远远不够——系统需要理解人类价值观的细微差别。这种训练方法帮助模型恰当地回应敏感话题，拒绝不恰当的请求，并表达不确定性，而不是自信地陈述谎言。
进入基于人类反馈的强化学习 (RLHF)。这种训练方法引入了人类评估员来评估模型输出，从而形成反馈循环，帮助 AI 理解哪些响应是有帮助的、真实的且无害的。事实证明，使用 RLHF 训练的模型（例如 ChatGPT 和 Claude）在减少有害输出的同时，在日常任务中更加实用。
RLHF 标志着 AI 开发理念的重大转变。单纯的预测能力已远远不够——系统需要理解人类价值观的细微差别。这种训练方法帮助模型恰当地回应敏感话题，拒绝不恰当的请求，并表达不确定性，而不是自信地陈述谎言。
多式联运革命开始
在文本模型快速发展的同时，研究人员也在探索人工智能如何理解其他模态——图像、音频和视频。DALL-E、Midjourney 和 Stable Diffusion 等计算机视觉模型应运而生，能够根据文本描述生成令人惊叹的图像。
这些系统通过在海量图文对数据集上训练扩散模型来工作。通过学习视觉概念与其文本描述之间的关系，它们可以将诸如“一幅萨尔瓦多·达利风格的猫下棋的超现实主义画作”之类的提示转换为相应的图像。
同样，语音识别模型的准确性也日益提高，文本转语音系统几乎与人声难以区分。视频生成虽然仍处于早期阶段，但已开始在 Runway ML 的 Gen-2 和 Google 的 Lumiere 等系统中展现出令人欣喜的成果。
每种模态都在快速发展，但它们仍然是各自独立的系统。下一场革命将源于这些功能的统一。
这些系统通过在海量图文对数据集上训练扩散模型来工作。通过学习视觉概念与其文本描述之间的关系，它们可以将诸如“一幅萨尔瓦多·达利风格的猫下棋的超现实主义画作”之类的提示转换为相应的图像。
同样，语音识别模型的准确性也日益提高，文本转语音系统几乎与人声难以区分。视频生成虽然仍处于早期阶段，但已开始在 Runway ML 的 Gen-2 和 Google 的 Lumiere 等系统中展现出令人欣喜的成果。
每种模态都在快速发展，但它们仍然是各自独立的系统。下一场革命将源于这些功能的统一。
真正的多模态人工智能：看、听、理解
当研究人员开发出能够同时处理多种输入类型并跨模态推理的系统时，向真正的多模态人工智能的转变就开始了。GPT-4 Vision、Claude Sonnet 和 Gemini 等模型现在可以同时分析图像和文本，从而创建更自然的交互范式。
这些系统可以描述它们在图像中看到的内容，从文档中提取文本，分析图表和图形，甚至解决视觉谜题。用户可以上传冰箱里食材的照片，然后问：“我可以用这些做什么菜？” 然后，人工智能会识别这些食材并推荐合适的食谱。
真正的多模态系统与简单地连接不同模型的不同之处在于它们具有统一的理解能力。当你询问图像中的某个元素时，系统不仅仅是运行单独的图像识别和文本生成——它会跨模态建立起一个综合的理解。这使得更复杂的推理成为可能，例如解释某个表情包为什么有趣，或者识别文本和图像之间的不一致之处。
这些系统可以描述它们在图像中看到的内容，从文档中提取文本，分析图表和图形，甚至解决视觉谜题。用户可以上传冰箱里食材的照片，然后问：“我可以用这些做什么菜？” 然后，人工智能会识别这些食材并推荐合适的食谱。
真正的多模态系统与简单地连接不同模型的不同之处在于它们具有统一的理解能力。当你询问图像中的某个元素时，系统不仅仅是运行单独的图像识别和文本生成——它会跨模态建立起一个综合的理解。这使得更复杂的推理成为可能，例如解释某个表情包为什么有趣，或者识别文本和图像之间的不一致之处。
多模式系统背后的架构
创建有效的多模态人工智能需要解决复杂的技术挑战。不同的数据类型具有截然不同的结构——图像是像素的空间网格，音频由波形组成，文本是连续的标记。如何创建一个统一的表征来捕捉这些不同格式的含义？
现代多模态架构为每种模态使用专门的编码器，将原始数据转换为共享的表征空间。例如，图像可能由视觉转换器 (ViT) 处理，该转换器将图像分解成多个块并将它们转换为嵌入，而文本则被分别标记和嵌入。然后，这些不同的嵌入被投影到一个公共空间，核心模型可以在其中一起处理它们。
这种“塔桥”架构使模型能够学习跨模态关系——理解语言中的概念如何与视觉特征或音频模式相对应。当 GPT-4 Vision 识别出照片中的地标时，它可以将该视觉表征与其关于该地点的历史、意义和背景的文本知识联系起来。
训练过程通常涉及海量配对内容数据集，例如带字幕的图片、带文字记录的视频以及其他对齐的多模态数据。通过学习这些对齐内容，模型可以构建内部表征，将跨模态的相关概念紧密映射到向量空间中。
现代多模态架构为每种模态使用专门的编码器，将原始数据转换为共享的表征空间。例如，图像可能由视觉转换器 (ViT) 处理，该转换器将图像分解成多个块并将它们转换为嵌入，而文本则被分别标记和嵌入。然后，这些不同的嵌入被投影到一个公共空间，核心模型可以在其中一起处理它们。
这种“塔桥”架构使模型能够学习跨模态关系——理解语言中的概念如何与视觉特征或音频模式相对应。当 GPT-4 Vision 识别出照片中的地标时，它可以将该视觉表征与其关于该地点的历史、意义和背景的文本知识联系起来。
训练过程通常涉及海量配对内容数据集，例如带字幕的图片、带文字记录的视频以及其他对齐的多模态数据。通过学习这些对齐内容，模型可以构建内部表征，将跨模态的相关概念紧密映射到向量空间中。
多模态人工智能的实际应用
多模态人工智能的实际应用正在全面改变各行各业：
在医疗保健领域，系统可以分析医学图像、病历和症状，以辅助诊断。医生可以上传X光片，并针对潜在问题提出具体问题，从而获得将视觉分析与医学知识相结合的洞察。
在无障碍方面，多模态人工智能帮助盲人用户通过详细的描述理解视觉内容，并通过提供实时转录和翻译语音内容来帮助聋人用户。
在教育领域，这些系统创造了互动式学习体验，学生可以就图表、历史照片或数学方程式提问，并获得根据其学习风格量身定制的讲解。
内容创作者使用多模态人工智能来生成互补素材——撰写文章并创作匹配的插图，或制作视觉效果和旁白同步的教育视频。
电商平台实现了视觉搜索功能，消费者可以上传他们喜欢的产品图片并找到类似的商品，同时人工智能会描述其匹配的关键特征。
或许最重要的是，多模态系统正在创造更自然的人机交互范式。我们不再需要调整我们的交流方式以适应僵化的计算机界面，而是可以越来越多地以我们自然交流的方式与技术进行互动——通过文字、图像、声音和手势的流畅组合。
在医疗保健领域，系统可以分析医学图像、病历和症状，以辅助诊断。医生可以上传X光片，并针对潜在问题提出具体问题，从而获得将视觉分析与医学知识相结合的洞察。
在无障碍方面，多模态人工智能帮助盲人用户通过详细的描述理解视觉内容，并通过提供实时转录和翻译语音内容来帮助聋人用户。
在教育领域，这些系统创造了互动式学习体验，学生可以就图表、历史照片或数学方程式提问，并获得根据其学习风格量身定制的讲解。
内容创作者使用多模态人工智能来生成互补素材——撰写文章并创作匹配的插图，或制作视觉效果和旁白同步的教育视频。
电商平台实现了视觉搜索功能，消费者可以上传他们喜欢的产品图片并找到类似的商品，同时人工智能会描述其匹配的关键特征。
或许最重要的是，多模态系统正在创造更自然的人机交互范式。我们不再需要调整我们的交流方式以适应僵化的计算机界面，而是可以越来越多地以我们自然交流的方式与技术进行互动——通过文字、图像、声音和手势的流畅组合。
局限性和伦理考虑
尽管当今的多模态人工智能系统功能强大，但仍存在显著的局限性，并引发了重要的伦理问题。
与人类感知相比，视觉理解仍然肤浅。虽然人工智能可以识别物体和描述场景，但它往往会错过人类能够瞬间识别的细微视觉线索、空间关系和文化背景。如果让多模态人工智能解释复杂的工程图或解读照片中的肢体语言，其局限性很快就会显现出来。
这些系统还会继承甚至放大其训练数据中存在的偏见。面部识别组件在某些人群中的表现可能更差，或者视觉推理可能反映出图像解读方式的文化偏见。
由于多模态系统处理潜在的敏感视觉和音频数据，隐私问题更加突出。用户可能会在不知情的情况下分享一张图片，而AI可以识别并可能将其融入到回复中。
或许最紧迫的问题是多模态人工智能有可能创造出令人信服的合成媒体——深度伪造，将逼真的图像、视频和音频结合在一起，创造出具有说服力但却是虚构的内容。随着这些技术变得越来越普及，社会面临着有关媒体真实性和数字素养的紧迫问题。
与人类感知相比，视觉理解仍然肤浅。虽然人工智能可以识别物体和描述场景，但它往往会错过人类能够瞬间识别的细微视觉线索、空间关系和文化背景。如果让多模态人工智能解释复杂的工程图或解读照片中的肢体语言，其局限性很快就会显现出来。
这些系统还会继承甚至放大其训练数据中存在的偏见。面部识别组件在某些人群中的表现可能更差，或者视觉推理可能反映出图像解读方式的文化偏见。
由于多模态系统处理潜在的敏感视觉和音频数据，隐私问题更加突出。用户可能会在不知情的情况下分享一张图片，而AI可以识别并可能将其融入到回复中。
或许最紧迫的问题是多模态人工智能有可能创造出令人信服的合成媒体——深度伪造，将逼真的图像、视频和音频结合在一起，创造出具有说服力但却是虚构的内容。随着这些技术变得越来越普及，社会面临着有关媒体真实性和数字素养的紧迫问题。
未来：从多模式到多感官人工智能
展望未来，人工智能能力的演进丝毫没有放缓的迹象。下一个前沿领域可能是真正的多感官系统，它不仅融合了视觉和听觉，还通过传感器集成和高级模拟技术融合了触觉、嗅觉和味觉。
新兴研究正在探索具身人工智能——连接到机器人平台的系统，可以与世界进行物理交互，将感知与行动相结合。配备多模态人工智能的机器人可以通过视觉识别物体，理解口头指令，并相应地操控其环境。
我们也看到了一些早期的人工智能系统研究，这些系统能够保持持久记忆，并在长时间交互中建立情境理解。这些系统不会将每次对话视为孤立的，而是会与用户建立持续的关系，记住过去的交互并随着时间的推移学习偏好。
或许最具变革性的发展将是能够跨模态执行复杂推理链的人工智能系统——发现机械问题，推理物理原理，并提出整合视觉、文本和空间理解的解决方案。
随着这些技术的不断发展，它们将越来越模糊专用工具和通用助手之间的界限，从而有可能形成能够灵活处理人类可以描述的几乎所有信息处理任务的人工智能系统。
新兴研究正在探索具身人工智能——连接到机器人平台的系统，可以与世界进行物理交互，将感知与行动相结合。配备多模态人工智能的机器人可以通过视觉识别物体，理解口头指令，并相应地操控其环境。
我们也看到了一些早期的人工智能系统研究，这些系统能够保持持久记忆，并在长时间交互中建立情境理解。这些系统不会将每次对话视为孤立的，而是会与用户建立持续的关系，记住过去的交互并随着时间的推移学习偏好。
或许最具变革性的发展将是能够跨模态执行复杂推理链的人工智能系统——发现机械问题，推理物理原理，并提出整合视觉、文本和空间理解的解决方案。
随着这些技术的不断发展，它们将越来越模糊专用工具和通用助手之间的界限，从而有可能形成能够灵活处理人类可以描述的几乎所有信息处理任务的人工智能系统。
结论：引领多式联运未来
从纯文本的 GPT 模型到如今复杂的多模态系统，这一历程代表了人类历史上最快速的技术演进之一。短短五年间，人工智能已从专业的研究工具转变为数百万人日常互动的广泛可用的系统。
这种加速发展势头丝毫没有放缓的迹象，我们很可能仍处于人工智能发展史的早期阶段。随着这些系统的不断发展，它们将重塑我们工作、学习、创造和沟通的方式。
对于开发者而言，多模态范式为创建更直观、更易访问的界面开辟了新的可能性。对于企业而言，这些技术提供了自动化复杂工作流程和提升客户体验的机会。对于个人而言，多模态人工智能提供了强大的工具，可以提升创造力、生产力和信息获取能力。
然而，驾驭这样的未来需要深思熟虑地考量人工智能的能力和局限性。最有效的应用将是那些既能发挥人工智能的优势，又能兼顾其劣势，从而创造人机协作，从而增强我们集体能力的应用。
从通用物理技术 (GPT) 到多模态人工智能 (Multimodal AI) 的演进不仅仅是一项技术成就，更是人类与科技关系的根本性转变。我们正在从执行命令的计算机，转变为能够理解语境、跨模态解读含义、并能应对人类交流的丰富性和模糊性的助手。未来几年，这种转变将以令人惊喜且具有变革性的方式持续展开。
这种加速发展势头丝毫没有放缓的迹象，我们很可能仍处于人工智能发展史的早期阶段。随着这些系统的不断发展，它们将重塑我们工作、学习、创造和沟通的方式。
对于开发者而言，多模态范式为创建更直观、更易访问的界面开辟了新的可能性。对于企业而言，这些技术提供了自动化复杂工作流程和提升客户体验的机会。对于个人而言，多模态人工智能提供了强大的工具，可以提升创造力、生产力和信息获取能力。
然而，驾驭这样的未来需要深思熟虑地考量人工智能的能力和局限性。最有效的应用将是那些既能发挥人工智能的优势，又能兼顾其劣势，从而创造人机协作，从而增强我们集体能力的应用。
从通用物理技术 (GPT) 到多模态人工智能 (Multimodal AI) 的演进不仅仅是一项技术成就，更是人类与科技关系的根本性转变。我们正在从执行命令的计算机，转变为能够理解语境、跨模态解读含义、并能应对人类交流的丰富性和模糊性的助手。未来几年，这种转变将以令人惊喜且具有变革性的方式持续展开。
