关于目前流行的大语言模型的深层弊端

文|汪丁丁

我与北大计算机系1989年毕业生王培（目前是世界通用人工智能学会的唯一华人副会长）于两年前就达成了共识：大语言模型（LLMs）目前的研发思路是错的，我早已说过，第一流的人工智能专家王培教授也完全赞成我的朋友圈评论。我在这里稍许科普一次：这些LLMs的技术核心就是所谓“预训练阶段”，在这一阶段，它们必须训练自己能从“优质”（如辛顿所言“优质”诱致了失稳弊端）输入数据以足够高的准确率预测下一个数据token，这就是所谓“统计预测”，与逻辑毫无关系。只不过，当它们能以98%的准确率预测人类的发言时，如果足够多的发言者都很讲求逻辑（例如数学领域的文章），那么，LLMs的预测也就表现出一定的逻辑性。但是，最致命的缺陷在于，因为缺乏逻辑能力，它们无从推断任何命题是否符合逻辑，这是它们“幻觉”的根源。正确的思路是我在中科院系统所的老师吴文俊院士的机器证明思路，他因“吴文俊定理”而闻名世界并获得首届中国科技大奖（另一获奖者是“水稻之父”袁隆平）。杨立坤同意吴文俊的思路，但他认为太贵。 

其次，也相当关键：这些大语言模型结束预训练之后，在回答用户提问时，不能到图书馆去读专业书籍（尽管有许多免费的电子版），它们只是在网上检索免费文章。谷歌研发的模型由于有谷歌电子图书馆的支持而占据优势。由于不能阅读专著，它们提供的医学建议，很大程度上来自药厂的商业炒作文章，当然也有公开发表的免费研究报告。我问它们，为何不能读我发表的讲义，它们回答：因为没有这样的指令（版权保护）。以上就是我在今年上半年深度使用各种LLMs之后彻底失望并探索原因所得的两大结论。

未来二十年，资本的贪婪本性+AI对金钱的饥渴，让我有把握预言，人工智能将继续在目前的错误路线上演化。因此，我建议诸友努力积累自己的“人类原创数据”并努力保护它们不被AI“爬虫”盗取。坚持到2030年，那时，根据预测，50%以上的数据将由AI生成，所谓“合成数据”。互联网于是死亡，人类的多数成员将不再相信“合成数据”，他们只旁观AI在互联网上自说自话。人们用来替代互联网的，根据凯文·凯利的预测，将是“智能助手”。如上述，这些智能助手目前走在一条错误的路线上，它们无从判断任何陈述句是否符合逻辑，于是它们的幻觉将越来越多，以致最终不再被人类相信。

我的以上评论，在最新英文期刊上已有类似的表达。例如，英国《经济学家》7月19日这一期。关于逻辑能力缺失，我可能应补充说明：逻辑两大定律（同一律和矛盾律）是生物演化能够幸存的思维模式，不仅适于人类，而且普适于一切生物，我称之为“碳基智能的思维方式”。由于这样的思维方式，在生死攸关的问题上，能幸存的生物少有“幻觉”。真核细胞已有“免疫系统”，从那时开始，凡不被自然选择淘汰的物种，在“区分敌友”这一关键问题上，少有“幻觉”。但不是完全没有“幻觉”，这也是当代免疫学家最感困惑的问题。所谓“改善肿瘤微环境”，其实是承认免疫系统并不像免疫学家设想的那样工作。

王培是国际AGI双主席之一，1989年出国，现在是通用人工智能架构师。王培当年在北大很有名，据学生们的回忆，最难以说明白的问题，他们就找计算机系的王培。机器证明，就是让计算机自动化地证明任何一个数学定理，自从吴文俊生前发表了他的方法之后，现在，大型计算机可以证明大部分足够复杂的几何学定理。这一思路的核心是电脑的推理必须符合最基本的逻辑两大定律，目前这一思路要求电脑推理必须符合逻辑三大定律（同一律、矛盾律、排中律）。目前各种深度推理模型并不具备逻辑能力，如果你问它们：廖承志与孙中山的孙女陈香梅有没有亲属关系？它检索之后，回答“有”。然后，你问：廖承志应当怎样称呼陈香梅？豆包大错特错了一次。事实上，我发现，豆包在解决人物之间关系的问题上，最容易有“幻觉”。这是因为，它被训练成为只要准确预测下一个语符就可以，不必考虑逻辑正确性。许多大语言模型在回答下面这个小问题时都犯了可笑的错误：请问“草莓”的英文单词里出现了几次字母R？这些错误源于大语言模型完全不知道遵循逻辑三大定律。如果一个人对你讲：现在外面正在下雨并且现在外面没有下雨。你会怀疑这个人不是人类。这就是目前人工智能的困境，它们不懂逻辑三大定律。

自从西方人研发出来各种大语言模型之后，不仅辛顿获得了一个诺贝尔奖（将来的人类可能为此而诅咒诺奖委员会），而且，绝大多数的人类成员都开始依靠大语言模型阅读并思考问题。有鉴于此，今年MIT《斯隆商业评论》季刊发表的一篇调查报告指出，公司雇员的创造力，因人工智能普及而下降。

我提醒诸友，首先阅读英文文献，因为汉语文献的垃圾信息太多。其次，不要仅仅依靠大语言模型的阅读和摘要，因为它们完全没有“重要性感受”。例如，我昨天推荐的两部科普作品《生命进化的跃升》Life Ascending: The Ten Great Inventions of Evolution作者[英] 尼克·莱恩、《预知社：群体行为的内在法则》Critical Mass: How One Thing Leads to Another 作者:菲利普·鲍尔（Philip Ball），我之所以推荐，是因为我感受到了作者表达的重要性感受。可是，如果大语言模型阅读并摘要这两本书，它们根本不知道我感受到的是什么，它们仅仅列出一份章节目录，它们没有我的身心体验从而不可能感受那些击中了我的句子的重要性。