Release 民间版中文羊驼模型 v5.0 · ymcui/Chinese-LLaMA-Alpaca (original) (raw)
本版本针对模型回复较短的问题进行升级，同时推出Plus-33B系列模型。
同时，我们也很高兴地向大家宣布新项目启动：中文LLaMA-2、Alpaca-2大模型🦙
🚀 推出中文Alpaca-Pro系列模型
- 针对早期Alpaca相关模型回复较短的问题进行优化，使其回复长度接近GPT-3.5/GPT-4
- 推荐所有使用Alpaca系列模型的用户升级至Pro版本（7B/13B/33B），合并方式与Plus模型一致，需要同时融合LLaMA-Plus的LoRA
- 如果更喜欢短回复，可以选择Plus系列模型
在此特别感谢所有参与beta评测投票的各位社区成员。
🚀 推出LLaMA-Plus-33B、Alpaca-Plus-33B
- 在基础版33B之上将训练数据扩充至120G，得到LLaMA-Plus-33B；进一步通过指令精调得到Alpaca-Plus-33B
- 在C-Eval、主观体验方面显著优于本项目其他模型
- 本次不再提供GPT-4评价的结果，请通过接下来介绍的ChatBot Arena浏览对比相关模型输出
📊 添加ChatBot Arena
- 仿照fastchat的方式，添加了模型对战页面，题库进一步扩充至360题
- 评测模型包括所有Alpaca-Plus和Alpaca-Pro系列模型，每个模型包含3个参考输出（随机显示其一）
- 可实时查看总体胜率、Elo评分、两两对战胜率等信息
对战地址：http://chinese-alpaca-arena.ymcui.com/
🔬 升级NTK-scaling算法，添加Memory Efficient Attention（#743）
- 升级了NTK-scaling算法，更好地支持长上下文条件下的文本生成
- 可通过参数
alpha控制上下文扩展长度，支持指定数值和auto两种方式 - 添加了Memory Efficient Attention补丁，显著降低显存消耗，在单张24G显存的显卡上7B模型最大输入长度可达5K+
具体使用方法见 #743 中的说明。