model_conversion_zh (original) (raw)

模型合并与转换

以下介绍了手动将LoRA与原版Llama-3-8B合并得到完整模型的流程。如网络带宽充足，建议直接下载完整版模型。

准备工作

  1. 运行前确保拉取仓库最新版代码：git pull
  2. 确保机器有足够的内存加载完整模型以进行合并模型操作
  3. 安装依赖库（项目根目录requirements.txt）：

$ pip install -r requirements.txt

Step 1: 获取原版Llama-3-8B模型

原版Llama-3-8B（不是instruct版）地址：https://huggingface.co/meta-llama/Meta-Llama-3-8B

相关文件列表（建议只下载safetensors格式权重）：

original/  <-- 这个文件夹不用下载，里面是pth格式的权重
config.json
generation_config.json
model-00001-of-00004.safetensors
model-00002-of-00004.safetensors
model-00003-of-00004.safetensors
model-00004-of-00004.safetensors
model.safetensors.index.json
special_tokens_map.json
tokenizer_config.json
tokenizer.json

Step 2: 合并LoRA权重，生成全量模型权重

这一步骤会合并LoRA权重，生成全量模型权重（safetensors格式）。执行以下命令：

$ python scripts/merge_llama3_with_chinese_lora_low_mem.py
--base_model path_to_original_llama3_dir
--lora_model path_to_lora
--output_dir path_to_output_dir

参数说明：