90000000亿字作文（AI大战高考作文）

深AI（DeepAI2023）原创

作者 | 黎明

编辑 | 魏佳

这届高考，应该是过去五年来，最特殊的一次。因为多了一个新角色——AI考生。

第一天的语文考试刚结束，全网就掀起AI作文大赛。ChatGPT、文心一言、通义千问等AI大模型，被人们拿来写高考作文。几秒钟就能生成一篇，不仅速度惊人、逻辑严密，还能引经据典。

乍一看，AI大模型写作文，简直太轻松，似乎对人类构成降维打击。毕竟，论知识储备量，没有人可以跟AI比。AI把整个互联网上的资料都学习消化了，然后模仿人类的表达方式，用自己的逻辑输出。

但是，如果我们仔细分析AI考生的“答卷”，会发现AI并没有很多人想象的那样无所不能。AI大模型普遍存在的套路化写作、不会数数、胡说八道等问题，也在作文中出现。

事实上，按照高考作文的评分标准，AI生成的作文都存在某些方面的局限。战胜人类，目前还不现实。

深AI用高考作文测试了三款AI大模型——ChatGPT（OpenAI）、文心一言（百度）、通义千问（阿里），发现了一些有趣的结论。

比如，AI不会数数，文心一言、通义千问的作文都没有达到“不少于800字”的硬性要求；一本正经胡说八道的毛病还没改，为了凑字数可以车轱辘话来回说；AI写作文基本离不开套路，一个模板反复套用。

以下是详细内容，欢迎讨论。

一个没有感情的答题机器

今年高考全国甲卷的作文主题是“人·技术·时间”，要求以“人们因技术发展得以更好地掌控时间，但也有人因此成了时间的仆人”这句话展开，写自己的联想与思考。

我们先看一下教育部教育考试院发布的《试题解析》：考察逻辑思维和思辨能力。

划重点：引导考生深入思考信息时代理性分析和审慎判断的重要性。这是考察的一大内核。

深AI测试了三个大模型发现，它们都没有抓住这个内核——东拉西扯说一通，啥都说了但其实啥也没说。

先看ChatGPT的作文：

再看文心一言的：

最后看通义千问的：

这三篇作文，堪称顶级“端水大师”，围绕主题正反来回说，就是没有把“批判性思维”这个点说透

。只有文心一言明确提到了“深入思考和批判性思维的培养”。

通义千问的作文是最空洞的。它把重点放在了“时间管理”上，偏离了主题，而且论述的道理也是人人皆知的常识。另外，通义千问的作文没有标题，扣分。

我们再用新课标I卷的作文试题“故事的力量”，看看三家的表现。

这篇作文要求根据以下这段话，写自己的联想和思考：好的故事，可以帮我们更好地表达和沟通，可以触动心灵、启迪智慧；好的故事，可以改变一个人的命运，可以展现一个民族的形象……故事是有力量的。

ChatGPT的作文：

文心一言的：

通义千问的：

不得不说，除了通义千问的作文相对平淡，其他两篇的表述方式、行文逻辑，尤其是用词还是可圈可点的。尤其是文心一言用场景化的开场方式，让人眼前一亮。

不过问题也是显而易见的——

同一个事情用不同的话术翻来覆去说，导致全文读下来，给人一种“你说的我都知道”的感觉。

一个没有感情的答题机器，这是很多人的评价。

“内容空洞，车轱辘变着来回说。”有人评价。还有人说：“全是没营养没内涵的大白话。”

我们不妨拆解一下文心一言的这篇作文，就会知道什么是“车轱辘话”。

文中标黄、标绿的部分，都是完全相同的意思，甚至可以说是相同的话术，在文中反复出现。在文末“总结来说”标蓝的一整段，则是把文中的观点和话术，搞了个大杂烩。

这给人一种凑字数的即视感。

深AI更改提示词，让ChatGPT想象自己是一个在高考现场的考生，并再次写一篇作文，它上来第一句话就是“当我坐在这个考试的座位上时，我的手中拿着一只先进的电子笔……”

这样参加考试，估计会被判违规，直接零分。

没有灵魂，是AI作文最大的减分项。

套路，全是套路

为了让作文看起来像那么回事，AI用了很多套路。

它们很喜欢用“首先、其次、然后、最后”的句式。最典型的是ChatGPT，最后一段一定会是“总的来说……”

比如ChatGPT的这两篇作文：

文心一言、通义千问也有相似的套路。前面一顿输出猛如虎，最后一定用“总而言之”“总的来说”结尾。

这就跟弹吉他一样，只要掌握了万能和弦公式（比如万能的卡农进行），就能弹出上百首曲子。

甚至于，我们让文心一言给自己写的作文打分，它也是“首先、其次、此外、综上……”一顿长篇大论。

而在“人·技术·时间”的作文题中，ChatGPT和通义千问居然用了几乎完全相同的表述：用“那么”提出一个问题，用“首先、其次、最后”展开具体论述。框架和逻辑像是一个模子里刻出来的。

尽管如此，文心一言非常自信地给自己的高考作文打出了90分的高分（假设满分100分），还自我评价“值得肯定”。我们把它的作文丢给ChatGPT，ChatGPT竟然毫不吝啬地给出了100分的满分……

AI大模型就像工业流水线，批量生产作文。但本质上，无论它说出来的话多么像人话，驱动的技术都是数学和统计，而非意识。

在人工智能行业，让AI听懂人话、会说人话，一直以来都是一件很困难的事情。人类的自然语言是一个极其复杂的系统，科学家让机器模拟了人类大脑的神经网络，使其具备深度学习能力，但始终不具备跟人一样的自然语言能力。

于是有人另辟蹊径，把语言问题转化成数学问题，然后通过计算，间接解决自然语言处理的问题。按照自然语言处理专家吴军的说法：语言模型不是逻辑框架，不是生物学的反馈系统，而是由数学公式构建的模型。

这其中的关键词是“数学”。

这决定了人工智能没有自我意识或情绪，无法根据个人感觉来说话。写作文对它们来说，是以结果和任务为导向的一种逻辑表达。

而通过抓取全网海量数据进行训练，不断学习模仿人类的语言表达方式，AI大模型现在说话已经非常接近人类，虽然它还不懂文字背后的意思，但不影响交流。

在根本上，AI没有自己的思想。这也是为什么它的作文看起来头头是道，仔细一品，你会发现没有灵魂，全是套路的根本原因。

AI真的不会数数

前面我们提到，语言模型的参数都是靠统计得出的。它的原理是给定一个文本的历史，预测下一个词的概率，然后补全下文。

2017年谷歌首次提出基于自我注意力机制（self-attention）的变换器（Transformer）模型，现在类似ChatGPT之类的语言大模型，都是建立在Transformer架构上。

Transformer的注意力机制比之前的RNN（循环神经网络）、GRU和LSTM等深度学习算法具有极长的记忆力。

它还可以记住输入的顺序，所以能读懂“我爱你”和“你爱我”是不一样的意思。

但即便如此，它依然有局限。

比如，深AI让通义千问给它自己的作文打个分，它混淆了“你”和“我”的概念。开头说是它自己的文章，然后又说是“你”的文章……

《大模型时代》作者龙志勇对深AI解释，

这可能是因为站在左右互搏的角度，换位了。

在测试AI大模型写高考作文的过程中，我们还发现一个有意思的现象——AI不会数数。

高考作文有一个要求是字数不少于800字。深AI跟大模型进行了多次互动，

除了ChatGPT，文心一言和通义千问第一版交上来的作文都没有达到800字。

比如文心一言，深AI多次提醒，文章字数不够800，需要重写。文心一言每次都是：首先态度非常谦卑地道歉，保证一定符合要求，然后快速用十几秒钟的时间生成一篇新的作文——还是不到800字。

这个“考生”读不懂作文题，且屡教不改，是个大大的减分项。

龙志勇对深AI解释：“

大模型预测下一个词的训练方式，没有让它学会数数，它并不知道800是多少，更不懂得数着字数来生成文章

。”

事实上，别说800，连10这样的数字，文心一言也数不清。

这是语言模型普遍存在的问题。至于为什么数不清，什么时候、通过什么办法就能数清，目前还没有结论。“虽然有一些提示工程的技巧可以帮助它数数，但并不是通用的解法。

大模型现阶段就是靠做黑箱实验来验证它的能力，靠做黑箱训练来提升它的能力。

”龙志勇说。

在龙志勇的建议下，深AI更改提示词，输入“内容再丰富，再长一些”，文心一言输出的作文超过了800字。

在前面的高考作文题中，ChatGPT的作文超过了800字，但其实，它也没学会数数。

ChatGPT这样对深AI解释：

所以，其实

“优等生”ChatGPT的作文字数达标，是靠蒙的

。它也不知道800字是多少，就尽可能多写点。

还不能完全听懂人话，但又具备超强的知识储备和表达能力，就导致有时候会出现让人哭笑不得的场面。

从这次AI大战高考作文的结果来看，大模型的写作能力已经有很大进步。在选词用词、逻辑论述、引经据典方面，甚至超过很多人。

不过，对作文质量的评价，本身带有主观因素，不像数学题一样只有唯一正确答案。好看的词句千篇一律，有趣的灵魂万里挑一。如何给作文注入灵魂，AI大模型还没玩明白。AI大模型固有的一些问题，也还需要通过技术迭代慢慢解决。

威海创业大学

威海创业大学是由山东省人社厅、威海市政府及北京华普亿方集团三方共建的全国首家人民大众的创业大学，成立9年多来，致力于打造的“政府主导、一点多校、项目先行、实训教学、服务贯穿、资源整合、结果检验”先行先试的“威海模式”早已成为威海市经济社会发展新的增长点和新亮点，在创新驱动创业、创业带动就业方面发挥了不可替代的作用。

2016年，获评为山东首批“省级示范创业大学”。2017年11月，以威海创业大学学员为典型案例的山东省“建设创业大学加快创新人才培养”工作得到了国务院办公厅的通报表扬。2018年，创业大学被国务院第四次大督查通报表扬。

按照“中心带动、辐射全市”的办学思路，威海创业大学积极实施“小总部+大分校”的运行模式。目前全市建设分校18处，在驻威多所高校、环翠区、经区、高区、临港区、文登、荣成、乳山均建有分校，为所有的创业伙伴免费提供创业培训、实训以及办公场地、资本对接等创业服务。

9年来，威海创业大学累计培训和服务学员103400人，累计举办创业主题活动632场，参与人数达35366人，成功创业3980人，带动就业20300多人；培育国家级创业大赛获奖项目38个，省级大赛获奖项目199个；累计辅导项目获得风险投资1.57亿元；毕业学员企业在齐鲁股权交易中心挂牌的16家。

90000000亿字作文（AI大战高考作文）

相关推荐