Release 民间版中文羊驼模型 v4.0 · ymcui/Chinese-LLaMA-Alpaca (original) (raw)
本次重点发布了33B版本中文LLaMA和Alpaca模型。
🚀 发布中文LLaMA-33B、Alpaca-33B
- 与其他基础版一致，中文LLaMA-33B使用了20G的中文语料进行预训练
- 指令数据仍然是4M级别，并添加了OASST1数据（中文翻译，约10K）
- 生成效果评价：Plus-7B获得75.3，Plus-13B获得79.4，33B获得82.0👍🏻
- Alpaca-33B在数值计算、代码理解等7B/13B不擅长的任务上获得了显著性能提升
具体评测结果和生成示例请参考效果评测。
💯 提供了C-Eval客观评价指标结果
C-Eval是近期推出的一个包含14K样本的选择型问答数据集，涵盖了52个不同的学科和四个难度级别。中文Alpaca-Plus-13B和Alpaca-33B模型在该测试集上达到了较好水平，甚至超越了LLaMA-65B、Bloomz-mt等参数量大几倍甚至十几倍的千亿级模型。
详细结果请参考：https://github.com/ymcui/Chinese-LLaMA-Alpaca/tree/main#客观效果评测
📚 功能性更新
- 提供了privateGPT示例（#410）：privateGPT是基于LangChain二次开发的项目，可以对本地文档进行分析并利用大模型进行交互问答。相关使用方法请查看本项目Wiki
- 提供了Colab上可运行的Gradio示例（#364、#536）：在Colab上运行notebook，启动基于Gradio的交互式Web服务，可迅速进行部署与体验。Contribution by @sunyuhan19981208
其他更新
- 更新了训练脚本，提升了训练之后进一步合并模型的便利性
- 重构了
scripts文件夹，使目录结构更清晰 - 更新了合并模型脚本，使之适配33B/65B模型