顶部logo

产品中心

百川智能发布Baichuan-13B:参数量130亿

2023.09.07 作者: 产品中心

  这是百川智能发布的第二款通用大言语模型,而在前不久的6月15日,百川智能就现已推出了首款70亿参数量的中英文言语模型Baichuan-7B。

  据百川智能介绍,Baichuan-13B上下文窗口长度为4096,不同于Baichuan-7B的RoPE编码方法,Baichuan-13B运用了ALiBi方位编码技能,可处理长上下文窗口,还可以揣度超出练习期间读取数据的上下文长度,然后可以越来越好的捕捉文本中上下文的相关性,做出更精确的猜测或生成。

  百川智能表明,Baichuan-13B是一款中英文双语大模型,采用了相对平衡的中英文语料配比和多言语对齐语料,在中英两种言语上体现均很优异.

  Baichuan-13B-Base现在不仅对学术研究彻底敞开,一切开发者均可经过邮件向百川智能请求授权,在取得官方商用答应后即可免费商用;此外,为下降模型的运用门槛,百川智能一起开源了Baichuan-13B-Chat的INT8和INT4两个量化版别,在近乎无损的情况下可以很便利的将模型布置在如3090等消费级显卡上。

  百川智能创始人王小川表明,“Baichuan-13B是百川智能为科技强国送上的一份礼物,咱们等待国内大模型职业及笔直范畴可以在此基础上开宣布更多优异产品及职业使用,让技能在实在、丰厚的使用场景中快速迭代立异,咱们愿与很多企业、开发者一道为国内开源社区的生态昌盛奉献自己的力气。”