一种能直接理解人类指令,并通过多轮对话来进行百科知识问答、程序生成与编辑等自然语言处理任务的,带有输出过滤的聊天机器人。
ChatGPT 为什么这么强大?是一次厚积薄发。不说基础的 transformer 架构,AI 的代码修改能力在之前 AlphaCode/Codex (2022),NLP 任务能力在 GPT-3(2020),服从人类指令在 InstructGPT(2022) 等都累积了很好的基础。ChatGPT 的成功,一部分是因为免费易得而触达了更大的用户群。事实上,ChatGPT 和同属 GPT3.5 的 text-davince-003 没有代差,但是后者就所知甚少了。
为什么是 OpenAI 做出来 ChatGPT? 中国为什么没有?首先当然是 OpenAI 付出终有回报,技术路线上的多年坚持结成硕果。事实上, NLP 里 GPT 和 T5 路线之争还远没有结束。更主要的还是大语言模型研究的火候到了。一个不完全恰当的比方,ChatGPT 的出现,相当于第一颗人造卫星 Sputnik 的出现。当时苏联技术并没有本质领先于美国,但是在美国掀起大浪,NASA 仓促上马。这次对中国的冲击,整体是好事。希望我们一年后能更坦然面对这个问题。
另一方面,即使在中国之外,目前也只有 OpenAI 一家能在公开产品中达到这种类人智能高度。除了 Google 等巨头,开源社区如 LAION-AI 也在凝聚力量保证这一技术尽快不被垄断。因此中国国内相关对标技术出现不会太晚。但是,这也是关于基础创新重要性的生动一课,希望中国社会不要忘记。Chatgpt的商业模式预计是什么样?ChatGPT 是一个信息加工的工具。在公有知识域,可以提供加强搜索引擎的服务。并且能为大量的长尾需求生成多数时候有信息量的答案。更大的空间在不联网的企业内知识,隐私和安全敏感知识。上述两者的关系类似通用搜索和企业内搜索,但是重要性上可以反过来:非公有域的知识目前完全缺乏 ChatGPT 这样量级的信息处理工具,会有比公有域有更旺盛多样的需求。
ChatGPT 下一步是什么?后面会分 OpenAI 的 ChatGPT,和别家的 ChatGPT。就本家 OpenAI 而言,会沿着 AGI (人工通用智能)的路一路狂奔,ChatGPT 破圈只是一个小插曲,毕竟这个圈子里的同学早 N 年就在研究 AGI 会如何夺人类的权以及如何攻防这样的超前问题(AI Alignment)。打游戏(Starcraft)、操作软件、大战略(Cicero),以及音乐、图像多模态理解和生成,都已经是成熟验证过能实现类人智能的方向,整合进 ChatGPT 产生一个 ChatGPT++ 只是一个时间和品位问题。 别家的 ChatGPT 则五花八门了。主要看点是,能否在普适的场景跑起 ChatGPT 的几成功力。
不负责任的猜测,文史哲会受到重大冲击,毕竟 AI 可以胎教熟读二十四史(通读二十四史是种怎样的体验?)。
ChatGPT 对社会的影响是什么?难以预料。比较可见的,第一波冲击是柯洁 AlphaGo (柯洁的围棋水平到底有多厉害?),第二波是AI 画师(如何评价将AI绘画作品称为尸块的论调?) 。现在可称第三波冲击?
有一个很有争议的比喻是,AI 就相当于从第三世界到发达国家的卷人,努力活好不抱怨。
对你个人有什么影响?大好事。我终于有个 24 小时客服能支持我装 CUDA 搞 Ray 文档了。而且听说 int4 量化(BBuf:低比特量化之DoreFa-Net理论与实践)又重要了。毕竟 GPT 模型太大,世界上并不是人人有 A100-80GB 的显卡的。