Release 民间版中文羊驼模型 v4.1 · ymcui/Chinese-LLaMA-Alpaca (original) (raw)
本版本以功能性更新为主，包括更新技术报告、添加C-Eval预测脚本、添加低资源模型转换脚本等。
📚 更新技术报告（arXiv-v2）
- 更新模型构建的相关描述，添加Plus版本模型训练参数等
- 生成效果评测部分替换为Alpaca-Plus-7B、Alpaca-Plus-13B、Alpaca-33B对比
- 添加C-Eval完整评测结果，包括原版LLaMA以及本项目所有模型的结果与分析
- 添加不同量化层级（2-bit ~ 8-bit, FP16）的效果对比和分析
- 详细技术报告请查阅：https://arxiv.org/abs/2304.08177
🔬 添加C-Eval预测脚本（#601）
- 添加了论文中使用的C-Eval预测脚本，轻松复现论文中相关模型效果
- 提供了基于上述脚本的Colab notebook，用户可参考相关运行过程
- 详细的介绍请参见Wiki教程
🚀 添加低资源模型转换脚本（#608）
- 添加了新版低资源模型转换脚本
merge_llama_with_chinese_lora_low_mem.py，大幅降低内存消耗 - 7B需要15GB，13B需要18GB，33B需要22GB（不同机器可能略有不同）
- 使用方法与旧脚本一致，后续将作为主要使用的模型合并脚本
其他更新和修复
- 修复了预训练脚本中文件名的一处错误（#540），Contribution by @alkaideemo
- 修复了模型保存问题，支持LoRA权重和tokenizer的保存 （#555）
- 在预训练和精调脚本中增加了检查项，避免后续模型合并出现异常问题（#595）