首页>机器人 > 正文
网易伏羲预训练模型”玉言“登顶CLUE分类榜单,成绩首次超过人类水平-全球新资讯
来源: 商业观察网 发布于:2023-01-18 16:55:57

1月17日,网易伏羲的“玉言”系列模型在CLUE分类任务排行榜中超越其他模型,荣登榜单第一。在CLUE1.1分类任务排行榜(包含AFQMC[文本相似度]、TNEWS[短文本分类]、IFLYTEK[长文本分类]、OCNLI[自然语言推理]、WSC[代词消歧]、CSL[关键词识别]6个理解任务)上首次超过人类水平。

作为中文语言理解领域最具权威性的测评基准之一,CLUE榜单在学术界及工业界有着深远影响。此次「玉言」成功登顶 CLUE分类任务榜,是网易伏羲在中文文本预训练领域又一重要里程碑。值得一提的是,一年前网易伏羲的“玉言”系列模型也曾登顶CLUE推出的中文小样本学习评测榜单FewCLUE。


(资料图片仅供参考)

"玉言“是网易伏羲自主研发的中文文本预训练大模型系列,这次登顶CLUE分类任务榜单的模型参数达到110亿,结构由深层 Encoder 和浅层 Decoder 组成,这种结构可以使得大模型具有优秀理解能力的同时,也有着较为优秀的生成能力。除此之外,Encoder-Decoder结构方便训练任务的设计,不需要复杂的掩码策略。其预训练数据包括网易自有高质量数据、各类百科、新闻、社区问答、wiki、小说等等;网易伏羲对收集到的数据进行去重,清洗,产出了大量高质量数据,并采用这些数据训练模型,使得模型具有良好的泛化性,在各类任务上都有着出色的性能。

网易伏羲在"玉言“模型的训练中,采用多任务训练框架对模型Encoder和Decoder进行训练。为了提升模型的语义表示能力,同时让模型更好的理解不同长度的文本信息,提出了不同的预训练策略来帮助模型学习:

掩码策略:掩码[MASK]将句子中的词进行掩盖,让模型还原被掩盖的词语,提升模型对词语的语义表示能力;

Word Shift 策略:通过打乱中文词语里单字的顺序,让模型对其进行还原,从而提升模型对中文词语表达的关注能力,增强对中文词语的敏感性;

Short Sentence Reorder 策略:通过打乱出现在句子中的短句,再让模型还原以提升模型对句子语义的理解;

Word/Sentence Deleted 策略:删除句子中的单词或整句后再让模型进行还原,以提升模型对不同长度的文本的语义表示能力;

网易伏羲的大规模预训练相关工作由网易高级副总裁、网易雷火事业群总裁胡志鹏牵头主持,并且入选2022年度浙江省科技计划项目--“尖兵”项目。自研模型规模从最早的一亿参数增长至千亿参数,模型领域从文本拓展到图文、音乐、行为序列等多种模态,积累了丰富的预训练模型训练和工程优化的经验。相关技术也已经应用在网易集团内的文字游戏、智能NPC、文本辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景,并取得了显著的业务效果。

另外,网易伏羲参与了中国人工智能产业发展联盟组织的大规模预训练模型技术的应用评估方法编写,并且在由中国信息通信研究院、人工智能关键技术和应用评测工业和信息化部重点实验室等机构发起的2022可信AI峰会上,网易伏羲的大模型应用「 LOFTER-AI 写文」和「傀儡戏-互动式文字游戏」同时入选“2022大规模预训练模型优秀应用案例”,在大模型技术及AI实践领域获行业认可。

网易伏羲作为国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构,未来会在大规模预训练模型领域持续探索,并结合有灵机器人众包能力,引入“人”的决策及数据闭环,进一步提升大模型的能力。

(免责声明:此文内容为广告,相关素材由广告主提供,广告主对本广告内容的真实性负责。本网发布目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,请自行核实相关内容。广告内容仅供读者参考。)

关键词:

猜你喜欢

  • 网易伏羲预训练模型”玉言“登顶CLUE分类榜单,成绩首次超过人类水平-全球新资讯
  • 去中心化流动性质押协议Diva完成350万美元种子轮融资,A&T Capital领投-环球新要闻
  • 以太坊初创公司Obol Labs完成1250万美元A轮融资,Pantera和Archetype共同领投
  • Polkadot XCM v3完成合并将启动桥、跨链锁定、NFT等功能-全球今热点
  • Coinbase正式关停日本业务,并敦促当地客户在2月16日前提取资金
  • Cosmos生态流动性质押衍生品最新进展和发展趋势-全球热头条
  • “薅容容”新春版正式开玩 容声与你相约“兔”味春节
  • 情侣劝和、咳嗽声判断新冠 2022年专利盘点-焦点热闻
  • 韩国"第一女主播"尹素婉性感私照 开启新的朝圣之旅-每日快看
  • 春节如何挑选新手机?看完这就知道这些「芯」选择-全球信息
  • AI不但要“取代”小黄图画师,还要“取代”艺术家-每日消息
  • 华大智造DNBSEQ-G99测序仪荣膺深圳国际工业设计大展The Great One创新设计奖-全球时快讯
  • 2022毕马威中国金融科技企业双50报告:集中在五大优先发展城市群 84%企业成立超过五年-每日速递
  • 科学故事融合传统文化 科普3D动画电影《萌兔大闯关》1月18日首映-消息
  • 遭印度“背刺”,俄油价格跌破40美元,中企油轮却开始拒绝承运-今日观点
  • 马斯克或需为2018年的推文赔偿数十亿美元-全球新动态
  • 松下纤尚冰箱荣膺红顶奖引领厨居美学新主张-消息
  • 告别疫情,这些销量“狂飙”的家电还能火多久?
  • 夏普电视被曝坏了不退不换不修:一次没看 屏幕出彩色条纹-当前热闻
  • 给苹果一个AR/VR硬件支点,今年能撬动元宇宙吗?