互联网资讯 · 2024年1月1日 0

百川智能推出上下文窗口超长的Baichuan2-192K大模型,一次可输入35万字超越Claude2

百川智能发布BAIchuan2-192K大模型,上下文窗口长度为192K,是全球最长的。

BAIchuan2-192K能够处理约35万个汉字,是目前支持长上下文窗口最优秀大模型Claude2的4.4倍,GPT-4的14倍。

百川智能已开放BAIchuan2的API接口,进军企业级市场,并已启动BAIchuan2-192K的API内测。

10项长文本评测中,7项取得SOTA,全面领先Claude2。

BAIchuan2-192K在多个中英文长文本问答、摘要的评测集上表现优异。

百川智能推出全球最长上下文窗口大模型Baichuan2-192K

LongEval的评测结果显示,BAIchuan2-192K的长窗口内容记忆和理解能力领先其他模型。

百川智能推出全球最长上下文窗口大模型Baichuan2-192K

(LongEval是针对长窗口模型的评测榜单)

动态采样的位置编码优化,4D并行的分布式方案,同步提升窗口长度和模型性能。

BAIchuan2-192K通过算法和工程的优化,实现了窗口长度和模型性能的平衡。

百川智能推出全球最长上下文窗口大模型Baichuan2-192K

(PG-19是DeepMind发布的语言建模基准数据集)

百川智能在算法和工程上的创新,对学术领域有着重要意义。

BAIchuan2-192K已正式开启内测,已与多个行业机构合作,将全面开放。

百川智能推出全球最长上下文窗口大模型Baichuan2-192K

BAIchuan2-192K能够处理和分析数百页的材料,对多个行业具有巨大的助力作用。

它可以帮助基金经理总结和解释财务报表,帮助律师识别风险,帮助技术人员阅读开发文档,帮助科员人员浏览论文。

更长的上下文为处理和理解多模态输入、迁移学习提供了支撑。