9款大模型角逐河南高考 GPT-4o、字节豆包等超文科一本线
6月24日,在极客公园最新发布的高考新课标Ⅰ卷大模型评测报告中,GPT-4o 以562分排名文科总分第一。国内产品中,字节跳动旗下的豆包拔得头筹,成绩是542.5分,其后依次是百度文心一言4.0的537.5分、百川智能“百小应”的521分。本次大模型高考评测与河南省考卷完全相同,河南高考录取分数线显示,文科本科一批录取分数线为521分,豆包等三款国产AI成功冲上一本线。
与文科相比,大模型的理科成绩要差很多,最高分还不到480分,多数大模型的理科总分在400分以下。相比河南理科511分的一本线,大模型尚有较大差距。
大语言模型遇上语言考试:有望冲满分
语文、英语的语言类考试,是大模型有能力和人类考生较量的赛场,多家产品能拿到客观题目的满分或接近满分。
凭借中文语言的“主场优势”,三款国产大模型产品获得了语文考试前三名,分别是百小应、字节豆包和腾讯元宝,得分依次为128分、125.5分和120.5分。除了少数开放性的阅读理解和语言文字运用问题,各家大模型主要丢分在语文写作上。
作为本次评测的语文作文阅卷人,北京市级骨干教师、怀柔区语文学科带头人夏老师曾多次参加全国高考语文阅卷。夏老师认为:“Al写出的文章大多有清晰完整的结构,有逻辑性,语言通顺流畅。但其理性有余,感性不足,缺乏感情色彩,自然就缺乏感染力。”
英语写作同样是大模型的一大难题。本次评测默认所有大模型的听力都获得30分满分。在阅读和语言运用两大项客观问题的考试上,GPT-4o、百小应、通义千问获得80分满分,豆包和文心一言4.0也接近满分。但是在40分的写作考试中,最高分只有29分,分别由GPT-4o和百小应获得,各家模型的英语写作主要丢分在表达空泛、缺少细节上。如果大模型在未来能够提升写作能力,获得高考满分并非难事。
文综出色,豆包获“历史”最高分
在由历史、地理、政治组成的新课标文综考卷评测中,GPT-4o获得237分的成绩,平均分达到79分,优于多数人类考生。国产大模型产品中,豆包的文综成绩最高,分数达到224.5分,其中历史科目拿到82.5分,在所有9款大模型中得分第一。
政治考试中,GPT-4o出人意料的获得了88分的最高分,百小应和豆包得分超过80。地理考卷则有大量图片问题,对一众大模型是不小的挑战,图像理解能力较强的GPT-4o得到最高分,但仅有68分。
河南高考分数段统计数据显示,GPT-4o的562分在文科考生中排名8811名,相当于人类考生的前2.45%,豆包则处于前4.27%的位置。在过去一年多时间里,国产AI技术能力获得了长足进步,目前已经接近国际顶尖大模型的水平。
数理全线不及格,AI有待提升
与人类顶尖考生相比,大模型在数学、物理、化学等数理学科上差距极大,包括GPT-4o在内的所有大模型都无法达到及格水平。尽管在语文、英语两科上能获得高分,大模型的理科最好成绩还无法进入人类考生的前30%。
以数学试卷为例,9款大模型产品中,仅GPT-4o、文心一言4.0和豆包获得60分以上成绩(满分150分),目前的大模型只能正确推理步骤相对简单的问题。据测试机构透露,豆包等大模型能准确运用求导公式和三角函数定理,但是面对较为复杂的推导和证明问题就很难继续得分。
重点考查实验探究能力的化学和物理试卷,各模型平均分更是只有34分和39分(满分为100和110)。化学单项最高分由豆包获得,成绩为49.5分,GPT-4o仅有42分。大模型在应对考试的灵活性上也不如人类。例如物理有一道送分题,人类考生根据“时间不会倒流”可以排除错误选项,轻易选对正确答案“C”,大模型则几乎全军覆没。要学会像人类一样思考和解决问题,大模型还有很长的路要走。
本文链接:http://www.huotuhuo.com/content-21-2797-1.html
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
-
合资插混最强匮电也是龙 雪佛兰探界者Plus上市:14.99万起!
雪佛兰首款智电插混SUV探界者Plus今日正式上市,共推4款配置车型,售价区间14 99-17 99万元。该车采用新一代设计语言,延续美式SUV典型的设 [详细] -
光峰科技发布2023年财报:营收22.13亿元 经营现金流大增105%
4月26日晚间,光峰科技披露2023年年报。年报显示,2023年光峰科技实现营业收入22 13亿元;归母净利润实现1 03亿元;整体毛利率达到36 22%; [详细] -
张艺谋《第二十条》网播上线:爱奇艺、腾讯视频、优酷会员免费看
今日,张艺谋电影《第二十条》正式开启网播,上线爱奇艺、腾讯视频、优酷、芒果TV、B站等视频平台,开通平台会员后可免费观看。据了解,《 [详细] -
《蛋仔派对》注重保护未成年人网络安全 保护未成年人不受到诈骗
在目前这个飞速发展的数字化时代,互联网让我们的娱乐生活得到了极大的丰富,各种各样的游戏层出不穷,但网络安全问题也随之凸显,大额充值 [详细] -
百度:AI专利申请量、授权量国内第一
在第24个世界知识产权日来临之际,百度昨日举办专利运用赋能AI产业高质量发展论坛。在论坛上,百度首席技术官王海峰透露,百度在以大模型为 [详细]