(资料图)

【Techweb】8月10日消息，在中文语言理解领域最为权威的CLUE榜单中，蚂蚁集团保险科技团队以92.475的得分，打破了CLUE阅读理解榜的历史纪录，排名第一。

一直以来，机器阅读理解技术由于难度高、理解复杂，是语义理解领域最为关键的能力之一。据了解，凭借多年来在自然语言处理方面的深耕，蚂蚁保险科技团队自主研发了预训练语言模型—AntInsBert，该模型仅包含十亿参数量，却一举登顶CLUE阅读理解榜，刷新历史纪录。

据悉，之所以AntInsBert仅使用1/10的参数量便取得了比肩甚至超越百亿大模型的成绩，主要是在两个技术上进行了升级。首先，AntInsBert对传统语言模型预训练方案做了改进，设计了基于Prompt的知识增强预训练方案，将海量知识图谱内容引入到预训练模型当中。

其次，为进一步挖掘AntInsBert在机器阅读理解算法上的潜力，该方案将文本分类、信息抽取、指代消解等常见的中文语义理解任务，通过模板转化为阅读理解任务，模型的范化性得到了进一步提升。

关键词： AntInsBert CLUE