上海AI实验室书生·浦语2.0大模型发布，会推理能共情，训练效率大幅提升

科技

今天上午，书生·浦语2.0（InternLM2）发布会暨书生

<body>
 <p>今天上午，书生·浦语2.0（InternLM2）发布会暨书生·浦源大模型挑战赛启动仪式在上海举行。</p>
 <p>上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语2.0。书生·浦语2.0核心理念在于回归语言建模的本质，致力于通过提高语料质量及信息密度，实现模型基座语言建模能力获得质的提升，进而在数理、代码、对话、创作等各方面都取得长足进步，综合性能达到同量级开源模型的领先水平。</p>
 <p>书生·浦语2.0是在2.6万亿token的高质量语料上训练得到的。沿袭第一代书生·浦语的设定，书生·浦语2.0包含7B及20B两种参数规格及基座、对话等版本，满足不同复杂应用场景需求。秉持“以高质量开源赋能创新”理念，上海AI实验室继续提供书生·浦语2.0免费商用授权。</p>
 <p>为促进AI生态发展，推动大模型在各行业的应用落地，书生·浦源大模型挑战赛同日启动。赛事由上海市经济和信息化委员会、上海市科学技术委员会、徐汇区人民政府共同指导，上海人工智能实验室（上海AI实验室）主办，上海市人工智能行业协会承办，首期赛事包含行业应用和创新创意两个赛道，即日起面向全球进行场景和赛队征集。</p>
 <p><strong>数据清洗过滤技术三轮升级 ，成就全球领先“大海捞针”效果</strong></p>
 <p>过去一段时间，国内外机构开源了多个优秀的大语言模型，并带来丰富的下游应用，有力推动了全球大模型开源生态的繁荣。上海AI实验室联合团队研究认为，大模型各项性能提升的基础在于语言建模能力的增强，对于大模型的研究应回归语言建模本质，通过更高质量的语料以及更高的信息密度，筑牢大模型能力基础。</p>
 <p>目前,书生·浦语背后的数据清洗过滤技术已经历三轮迭代升级，仅使用约60%的训练数据即可达到使用第二代数据训练1T token的性能表现，模型训练效率大幅提升。</p>
 <p>长语境输入及理解能力能显著拓展大模型的应用场景，比如支持大型文档的处理、复杂的推理演算和实际场景的工具调用等。然而大模型有限的上下文长度仍为当前学界及业界面临的重要难题。通过拓展训练窗口大小和改进位置编码，书生·浦语2.0支持200K token的上下文，能够一次性接受并处理约30万汉字（约五六百页的文档）的输入内容，准确提取关键信息，实现长文本中“大海捞针”。</p>
 <p>参考业界范例，研究人员对书生·浦语2.0进行了“大海捞针”试验，也就是将关键信息随机插入一段长文本的不同位置并设置问题，测试模型能否从中提取出关键信息。</p>
 <div class="medium_layout" contenteditable="false">
  <div contenteditable="true">
   <img class="ait_item_box img_default" style="max-width: 600px; height: auto; display: block; margin: 0 auto;" src="https://image.whb.cn/image/29db5d5afec34abf884c6f8574c812d3.jpg" alt="" width="1106" height="682" data-id="969944" data-src="https://image.whb.cn/image/29db5d5afec34abf884c6f8574c812d3.jpg" data-width="1106" data-height="682">
  </div>
 </div>
 <p>上图展示了InternLM2在不同长度的上下文（横轴）及上下文中不同位置（纵轴）上召回关键信息的准确率（Recall）。红色代表较低的召回准确率，而绿色则代表较高的召回率。上海人工智能实验室表示，试验结果表明，InternLM2在上下文长度延展到200K时依旧保持了近乎完美的召回成功率，验证了InternLM2对于超长上下文坚实的支持能力。</p>
 <p>为测试InternLM2在真实长文本处理任务中的能力，研究人员将一份时长3小时的公开会议录音转录稿输入模型中，并要求InternLM2从中提取出关键信息。测试结果表明，尽管在未校对的文本中存在较多错别字，但InternLM2仍从中准确提炼出了关键信息，并总结了发言人的主要观点。</p>
 <div class="medium_layout" contenteditable="false">
  <div contenteditable="true">
   <img class="ait_item_box img_default" style="max-width: 600px; height: auto; display: block; margin: 0 auto;" src="https://image.whb.cn/image/5423cd1c9abc41f38c0aa3b476837254.jpg" alt="" width="1269" height="373" data-id="969945" data-src="https://image.whb.cn/image/5423cd1c9abc41f38c0aa3b476837254.jpg" data-width="1269" data-height="373">
  </div>
 </div>
 <p><strong>会推理会做高等数学，能共情人类情绪</strong></p>
 <p>书生·浦语2.0的各项能力获得全面进步，相比于初代，在推理、数学、代码等方面的能力提升尤为显著，综合能力领先于同量级开源模型。</p>
 <p>根据大语言模型的应用方式和用户关注的重点领域，研究人员定义了语言、知识、推理、数学、代码、考试等六个能力维度，在55个主流评测集上对多个同量级模型的表现进行了综合评测。结果显示，书生·浦语2.0的轻量级（7B）及中量级（20B）版本性能在同量级模型中表现优异，<span style="white-space: normal;">在整体表现上达到了与ChatGPT比肩的水平。</span></p>
 <p>书生·浦语2.0不仅在客观性能指标上提升显著，在主观体验上也有明显改善，可以为用户提供优秀的对话和交互体验。</p>
 <p>示例一：在严格的格式要求下编制课程大纲</p>
 <div class="medium_layout" contenteditable="false">
  <div contenteditable="true">
   <img class="ait_item_box img_default" style="max-width: 600px; height: auto; display: block; margin: 0 auto;" src="https://image.whb.cn/image/de910deb1f854ee3858da2c00a11c391.jpg" alt="" width="1269" height="1299" data-id="969946" data-src="https://image.whb.cn/image/de910deb1f854ee3858da2c00a11c391.jpg" data-width="1269" data-height="1299">
  </div>
 </div>
 <p>示例二：以富有人文关怀的回答开解用户</p>
 <div class="medium_layout" contenteditable="false">
  <div contenteditable="true">
   <img class="ait_item_box img_default" style="max-width: 600px; height: auto; display: block; margin: 0 auto;" src="https://image.whb.cn/image/a675d6e99db642fa96da9f510828be1a.jpg" alt="" width="1022" height="399" data-id="969947" data-src="https://image.whb.cn/image/a675d6e99db642fa96da9f510828be1a.jpg" data-width="1022" data-height="399">
  </div>
 </div>
 <p>数学能力是大模型逻辑思维和推理能力的重要体现。上海AI实验室对书生·浦语2.0的数学能力进行全面提升，使其达到当前开源模型的标杆水平。</p>
 <p>基于更加科学构建的预训练语料，书生·浦语2.0 形成了很强的内生计算能力。在不依靠计算器等外部工具的情况下，在100以内的简单数学运算上能够做到接近100%的准确率，在1000以内达到80%左右的运算准确率。在GSM8K和MATH评测中，InternLM2-20B的表现超过了ChatGPT（GPT-3.5）。</p>
 <p>下面的示例展示了书生·浦语2.0 可以和代码解释器结合解决较复杂的高等数学问题。</p>
 <div class="medium_layout" contenteditable="false">
  <div contenteditable="true">
   <img class="ait_item_box img_default" style="max-width: 600px; height: auto; display: block; margin: 0 auto;" src="https://image.whb.cn/image/27ab08aca17045b0bcff0fdfdb7b9020.jpg" alt="" width="967" height="727" data-id="969948" data-src="https://image.whb.cn/image/27ab08aca17045b0bcff0fdfdb7b9020.jpg" data-width="967" data-height="727">
  </div>
 </div>
 <p><strong>以下为开源链接</strong></p>
 <p>Github：https://github.com/InternLM/InternLM</p>
 <p>HuggingFace：https://huggingface.co/internlm</p>
 <p>ModelScope：https://modelscope.cn/organization/Shanghai_AI_Laboratory</p>
 <div class="content_sign">
  文：沈湫莎<br>
   图：受访者提供<br>
   编辑：沈湫莎<br>
   责任编辑：任荃
 </div>
</body>

上海AI实验室书生·浦语2.0大模型发布，会推理能共情，训练效率大幅提升

扫码下载文汇客户端