很多人一听到大模型,就觉得它像一台装着秘密的机器,普通人只能看到输入和答案,看不懂里面到底发生了什么。
陶哲轩的解释却把这层神秘感削弱了不少。
把大模型拆开看,最底层的工具并不陌生,核心可以概括成两件事,微积分和矩阵乘法。
这是不是说,学过高中数学,就能马上造出一个ChatGPT?
当然不是。真正的区别,在于小模型能不能跑,和大模型能不能在真实世界里稳定工作,中间隔着巨大的工程量。
模型训练其实很像反复改错。
系统第一次看到一张图片,把猫认成了狗,或者回答问题时给出了错误答案。
训练程序不会只记住这次错了,而是继续计算,错得有多远,究竟是哪一部分参数影响了结果。
这里就轮到微积分出场了。
模型内部有大量参数,可以把它们想象成一排排旋钮。
答案错了以后,程序要判断每个旋钮对错误贡献了多少,再决定哪些该往左调,哪些该往右调。
这个过程常被叫作梯度下降,听上去有点复杂,其实可以理解成下山。
你站在一座看不见的山上,要找到最低处,就根据脚下的坡度选择方向,一步步往低处走。
模型训练也是这样,只是它要同时调整成千上万,甚至数百亿个参数。
微积分负责提供这个方向。
它不是直接告诉模型答案,而是告诉模型,这次错在哪里,参数怎么改,下一次可能更接近正确结果。
矩阵乘法负责另一件事,把信息一层层算下去。
一句话进入模型之前,不能直接以文字形式参与计算,系统会先把词语转成数字向量。
接着,这些数字会和一组参数矩阵相乘,得到新的数字,再送到下一层继续计算。
一层接一层,结果不断变化,最后才生成一个词,接着生成下一个词。
你问手机系统好不好用,模型并不是像人一样先在脑子里完整写好答案。
它会根据问题里的词,以及训练中见过的大量语言关系,计算接下来哪些词更合适。
那苹果为什么既能代表水果,也能代表手机公司?
关键不在苹果这个词本身,而在它周围出现了什么。
苹果和甜、果汁、好吃放在一起,计算结果会更接近水果。
苹果和手机、系统、应用放在一起,结果就会靠近科技公司。
注意力机制也没有传说中那么玄。
简单说,它要做的是计算不同词之间的联系,判断哪些词更重要,再把这些信息合并起来。
大量矩阵运算,就构成了这套过程的基础。
2016年的阿尔法围棋,就是一个很直观的例子。
围棋规则并没有因为人工智能出现而变复杂,真正复杂的是系统要处理棋盘上的海量可能性,并从训练中不断调整判断。
早期图像识别的发展也说明了这一点。2012年,深度学习模型在ImageNet图像识别竞赛中取得突破,很多人开始重新认识神经网络。底层计算仍然离不开矩阵运算和参数调整,只是数据、硬件和训练方法都上了一个台阶。
难点不在某一个神秘公式,而在计算量大到普通设备难以承受。一个拥有千亿参数的模型,每次处理输入,都要完成大量矩阵计算。
训练阶段还要把海量数据反复送进去,根据结果不断计算梯度,再修改参数。
这一轮不是做一次就结束,而是重复很多次。
数据越多,参数越大,训练时间越长,电力、芯片和服务器成本也会跟着上升。
网上常有人说,问一次ChatGPT,就要消耗一个普通家庭大半天的电。
这种说法容易传播,却不能当成固定答案。不同模型、不同问题、服务器利用率和数据中心能源结构,都会影响一次回答的实际耗电量,短问题和长文本也不是一个成本。
但方向没有错,大模型确实需要大量算力。
你在手机上轻松发出一句话,背后可能经过了服务器集群的连续计算,只是这些计算被集中放在了数据中心里。
小模型则完全是另一回事。
如果只做一个简单的分类任务,用几层网络、少量数据和普通电脑,也能训练出一个能运行的模型。
你甚至可以用Python写一个小型梯度下降程序,看着它从一开始的胡乱猜测,慢慢把结果调得更准。
不过,玩具模型能识别几类图片,和一个大模型能够处理长文本、理解上下文、完成多轮交流,差别非常大。
前者像是在教孩子分辨猫狗,后者要面对各种语言、知识、表达方式和不确定问题。
这就是规模带来的变化。
参数数量、训练数据、计算设备一起增加,模型才有机会学到更复杂的语言关系。
但规模大,也不等于模型一定可靠。
它可能在简单问题上答得很顺,在冷门知识、日期、数字和事实判断上突然出错。
矩阵算得再快,也不代表训练数据完整,更不代表它真的像人一样理解世界。
陶哲轩想强调的,应该不是人工智能很简单,而是别把它包装成无法接近的魔法。
微积分主要解决怎么调整,矩阵乘法主要负责怎么计算。一个负责把模型往更好的方向推,一个负责让信息在网络中流动起来。两者配合,再加上大量数据和强大硬件,才形成今天的大模型。
这样看,AI的门槛就更清楚了。
想知道基本原理,高中阶段接触过的函数、向量和矩阵,已经能帮你建立一个大致框架。
想真正训练大型模型,难点就转到了编程、数据处理、芯片资源和工程管理。
这两件事不能混为一谈。
说到底,人工智能并不是只有博士才能碰的领域,也不是普通人看一眼就能完全掌握的玩具。它的底层逻辑可以被解释,工程规模却十分庞大。
以后再看到AI黑箱、神经网络玄学这类说法,不妨多问一句,它到底是在讲原理,还是在讲规模?
模型为什么会答错,是算法算错了,还是数据本来就不够?
把问题拆开,神秘感会少一些,真正的难题也会更清楚。
以前总觉得大模型高深莫测,听完陶哲轩的解读,瞬间觉得褪去了很多神秘感。
你见过AI最离谱的“一本正经胡说八道”是什么场景?
免责声明
本文仅为AI技术科普内容,用于知识分享、技术原理解读。文中观点来自陶哲轩公开科普言论,仅作转述,不代表绝对权威。大模型技术仍处于持续迭代阶段,不同研究者对此会存在不同理解。本文内容不构成技术开发指导、投资建议,不保证全部内容适配所有实际工程场景。任何人依据本文内容开展实践产生的相关结果,本文不承担相应责任。