企业如何把通用大模型训练成行业模型Continued Pre-Training实战指南这两年我接触了不少做行业大模型的团队大家普遍都有同一个困惑拿开源通用大模型Qwen、Llama这类跑完指令微调SFT之后模型确实“变听话了”但一到真正的行业业务场景里就露怯——法律模型能背法条却读不懂裁判文书里的说理逻辑医疗模型能答科普问题但面对真实电子病历里的缩写和口语化描述就懵圈。问题出在哪儿说到底大多数人只做了“教会模型怎么回答”却漏掉了“让模型真正理解行业知识”这一步。而这个缺口恰恰需要Continued Pre-Training持续预训练以下简称CPT来补。这篇文章我想把自己在多个行业模型项目里踩过的坑、验证过的方案以及一套能直接落地的CPT实操链路完整梳理一遍。内容覆盖数据工程、训练参数、灾难性遗忘控制、评测设计这些核心环节适合正在做行业模型的技术负责人、算法工程师以及准备切入垂直场景但还没想清楚技术路线的团队参考。1. 先搞清楚一件事行业模型到底缺什么1.1 通用模型在垂直场景里的三个典型翻车现场先说几个我实际见过的情况。第一个是金融领域团队拿通用模型做研报摘要模型对公开的财报术语处理得不错但遇到内部的信贷审批规则、风控模型输出、特定产品线命名时就频繁出现幻觉把“不良率”和“逾期率”混着说。第二个是法律领域通用模型能准确回答“合同违约的法律后果”这种教科书问题但你把一份真实的一审判决书丢给它让它提炼争议焦点它输出的要点经常抓不住法官裁判的核心逻辑因为判决文书里大量隐性的法理推演和本土化表达通用语料里根本没覆盖。第三个是工业制造设备维修手册、点检记录、老师傅的操作日志里全是口语化、碎片化的描述通用模型处理起来基本靠猜。这三个场景的共同点是什么不是模型能力不够而是模型的“知识底座”里缺少这些行业特有的语料分布。通用大模型在预训练阶段看到的是互联网公开文本讲究的是普遍性、规范性而行业文本讲究的是专业性、内部一致性甚至包含大量行业内部的“行话”和隐含知识。你没有把这些语料喂给模型它当然没法凭空长出来。1.2 三条路摆在眼前Prompt、SFT、CPT怎么选很多团队一上来就纠结技术路线其实这三条路解决的是不同层次的问题不是替代关系。Prompt工程解决的是“调用方式”问题。你通过精心设计的提示词让模型把已有的通用能力调度到行业任务上。优点是快、零成本缺点也很明显模型肚子里没货时提示词写得再漂亮也榨不出油。行业知识如果不在参数里临时塞进上下文也不行——上下文窗口有限而且每次都要重复注入成本高、不稳定。SFT监督微调解决的是“行为对齐”问题。你给模型一批“问题-标准答案”对让它学会正确的回答格式和语气。它能解决“模型不愿意按行业规范输出”的问题但解决不了“模型根本不理解行业概念”的问题。说白了SFT是在已有的知识底座上调整输出风格底座本身没变。CPT解决的是“知识注入”问题。它让模型在大规模行业语料上继续做自监督学习相当于给模型“补课”把行业的术语、概念、行文逻辑、知识关联真正写进模型参数。这才是行业模型和通用模型拉开差距的根本环节。一个完整的行业模型训练流程通常是通用大模型 → CPT注入行业知识 → SFT对齐行业任务行为 → 可选RLHF/DPO对齐偏好。我见过很多团队跳过CPT直接SFT短期看效果还行但模型的知识边界和泛化能力很快触顶。1.3 Continued Pre-Training到底动了模型的哪根弦CPT本质上是在做和预训练一样的事给定一段文本让模型预测下一个token。但和从零预训练不同CPT的起点是一个已经“懂事”的通用模型你只需要让它把额外的行业知识吸收进去而不用重新学语法和常识。从模型内部看CPT调整的是Transformer各层中存储事实性知识和语义关联的参数区域。行业术语的表达方式、专业概念之间的逻辑关系、特定文体比如判决书、诊断报告、检修单的结构规律都会通过大量的next-token预测任务被编码进权重里。这也是为什么CPT的数据质量和数据量比模型结构还重要——同样的模型结构喂什么语料直接决定它长成什么行业模型。2. 数据工程CPT成败的七成都在这里2.1 行业语料从哪里来先盘存量再补增量做CPT之前第一件事不是写代码而是带着业务人员做一次“语料盘点”。你把企业内部和行业公开可获取的文本资产列个清单按类型、体量、质量、敏感性四维打分。我经手的项目里比较靠谱的语料来源包括这几类企业内部文档规章制度、业务手册、历史报告、客服对话记录、工单数据、审计底稿这类语料行业浓度最高但通常需要脱敏。行业公开数据裁判文书、专利文献、监管公告、学术论文、行业标准、技术白皮书这类数据质量高但采集和清洗工作量大。专业社区与垂直媒体专业的论坛帖子、行业从业者博客、行业协会出版物口语化表达多恰恰是通用语料最缺的部分。合成数据用小模型或规则模板生成符合行业格式的文本比如模拟诊断报告、模拟判决书用来补充长尾场景、平衡类别分布。有一点必须提醒敏感性数据的安全合规是底线特别是医疗、金融、法律领域。建议所有语料在进入训练流程前经过统一的脱敏处理涉及个人隐私和商业秘密的内容一律不进训练集。这一步没有任何捷径也别想着用模型自动脱敏一跑了之——先规则后人工抽检是稳妥做法。2.2 清洗、去重、配比决定训练质量的三个旋钮语料收集回来是“毛坯”不处理就喂给模型轻则浪费算力重则把模型的输出风格带偏。我的清洗流水线按固定顺序执行第一是格式清理。去掉HTML标签、PDF提取残留的乱码、页眉页脚、无意义的空行。这一步看起来土但遗漏的脏数据往往成为训练时loss异常的元凶。第二是质量过滤。用规则标点密度、句子长度、字符重复率 一个小的质量分类器对文档打分把低质量文档直接淘汰。行业文档里特别要注意OCR识别错误的文本这类噪声混进去会直接污染模型对术语的表征。第三是去重。行业语料有个特点同样一份标准文件会被反复转载、复制、改写导致语料库里充满近似重复文本。如果不做去重模型会在重复样本上过拟合白白浪费训练预算。文本去重我推荐MinHash做粗粒度召回处理近似重复再用SimHash做细粒度比对阈值设在0.85左右具体要根据数据分布调。实测下来一套好的去重流程能砍掉30%-50%的冗余语料。配比问题更关键。行业数据量通常远小于通用数据但模型不能只学行业数据否则会把通用能力丢掉。我的一般做法是行业数据占30%-50%配以50%-70%的高质量通用数据混合训练通用数据可以从开源预训练数据集中采样保证模型在吸收行业知识的同时不丢失语言基础和常识推理能力。这个比例不是死的行业知识密度高、与通用知识差异大的领域比如法律、医学行业数据占比可以适当调高。2.3 数据条数和格式设计别小看“长文档”的价值关于数据规模我给一个经验区间如果行业语料的去重后体量能有1B-5B个tokenCPT的效果就会比较明显。量再少也别灰心500M token也能做但效果会受限于数据覆盖度。关键是数据不是越多越好而是越“对”越好。格式设计上有个容易被忽视的点长文档的价值远高于截断后的碎片。比如一份完整的年报前后章节之间存在大量跨段落的逻辑呼应模型读完整文档才能理解“管理层讨论”和“财务报表附注”之间的关联。实际操作中我会按段落边界把文档切成长度适中的样本比如512-2048个token而不是无脑截断到固定长度。对超长文档优先保留文档结构标记标题、章节序号让模型学会层级结构。3. 训练策略与参数选型像调车不是拧螺丝3.1 学习率CPT最重要的一个旋钮CPT和SFT在学习率上有个显著区别SFT通常用5e-6到2e-5而CPT因为要让模型从海量语料里真正“学习”新知识学习率可以略高但我实测比较稳的区间是1e-5到5e-5。再高就容易破坏原有的通用能力出现严重的灾难性遗忘再低则学习速度过慢训练好几百步参数几乎不动。学习率调度策略我推荐先用warmup通常500-2000步把学习率从接近0升到目标值稳定训练中期最后用cosine decay慢慢降到底。这样模型在前期不会因为学习率过大冲乱已有参数后期又能稳定收敛。如果你用DeepSpeed或Megatron等框架建议开着loss曲线实时监控一旦出现loss异常飙升第一时间把学习率砍半别犹豫。3.2 训练步数与数据量一套可参考的估算方法训练多少步合适不要拍脑袋。先算数据量假设你有20亿token的行业数据全局batch size设为512序列长度设为2048那么一步能吃掉约100万token512×2048一个完整的epoch大约是1900步。我建议行业数据至少训练1-2个epoch但不要反复训练超过3个epoch——行业数据一般量不大反复过拟合的风险非常高模型会把训练文本“背”下来而不是真正理解。算力有限的情况下优先保证数据质量其次才是训练步数。哪怕只训练几百步只要数据干净、配比合理也能看到模型在行业术语理解上的明显提升。3.3 混合通用数据不是可选项是必选项我在2.2里已经提到了配比这里再往深说一层。很多团队贪图省事只用行业数据做CPT结果训练完发现模型在通用任务上的表现明显下降——写行业报告还行让它写个通用邮件都变得怪怪的。这就是典型的灾难性遗忘。防止遗忘有两个常用手段。第一是混合通用数据在训练batch里按固定比例把行业数据和通用数据打散混在一起让模型每一步既接触新知识又复习旧知识。第二是调低学习率并配合早停在验证集上持续监控通用能力指标比如在MMLU或C-Eval上的得分一旦出现明显下滑就停止训练或降低学习率。我个人的经验是通用数据占比低于30%时灾难性遗忘风险陡增别轻易挑战这个底线。3.4 分阶段训练先续训后对齐的经典组合我推荐的完整训练链路分两段。第一段是纯CPT只做自监督学习让模型充分吸收行业知识这个阶段不掺任何指令数据。第二段是做SFT用精心构造的行业指令数据尽量覆盖真实业务场景把模型的输出行为拉齐到行业规范上来。这两段分开做有几个好处训练目标清晰调参互不干扰CPT阶段的数据可以大量复用SFT阶段不需要太大规模几千到几万条高质量指令就够。如果条件允许可以在CPT和SFT之间插入一个“领域词表扩展”环节。当你的行业术语很多是生僻词或专业缩写时比如医学名词、化工试剂名、设备型号考虑扩充tokenizer词表把高频行业词加入词表并随机初始化对应embedding然后让CPT阶段把这些词的embedding训练好。这一步能让模型在生成时更精准地“拼出”行业词而不是拆成一堆子词。不过要额外训练新embedding需要少量额外的训练步数来对齐旧词向量空间。4. 完整实操流程复盘从原始语料到可用的行业模型4.1 环境准备与模型底座选型硬件上CPT的主力成本在算力。以7B-14B参数模型为例用8卡A10080G可以做14B模型的CPT结合ZeRO Stage 2/37B模型4卡就能跑。显存不够时优先用DeepSpeed ZeRO、FlashAttention、梯度检查点这些成熟的显存优化手段而不是急着换小模型。底座模型选型建议看一眼你目标场景的语种和长度需求。中文场景Qwen系列对中文的支持比较成熟英文为主的技术、法律场景Llama系列生态更丰富。另外建议优先选有官方支持的版本后续调试、升版、部署都会省心很多。我踩过坑用了一个社区魔改底座做CPT训练时loss表现正常但推理时出现诡异的token重复问题最后排查发现是底座本身rope实现有bug白白浪费了一周时间。4.2 数据预处理流水线一个可直接抄的流程整个数据流水线我按四段式组织第一步解析与文本抽取。不同格式文件走不同的抽取器PDF用PyMuPDF/OCRWord用python-docxHTML用BeautifulSoup扫描件先走OCR。归一化成统一字段的JSONid、text、source、domain、timestamp。第二步清洗与过滤。跑我前面说的格式清理、质量过滤、规则去重三步。OCR后的文本额外检查识别置信度低于阈值直接淘汰。第三步文档切分。用递归字符切分器按章节、段落边界切块目标长度控制在模型序列长度的50%-70%比如序列长度2048样本长度设为1024-1536保留段落边界和标题标记。第四步tokenize与打包。用tokenizer把文本转成token序列多个短样本拼接后用特殊符号分隔打包成固定长度的训练样本。这一步要仔细处理跨样本的注意力掩码别让模型在拼接边界处学到没意义的token关联。4.3 训练配置与启动一份参考参数清单模型底座选定后训练配置心里要有数。这里给一份我常用的7B模型CPT启动配置基于DeepSpeed学习率3e-5warmup 500步cosine decayBatch size全局1024条样本单卡实际batch由梯度累积实现序列长度2048优化器AdamW权重衰减0.1梯度裁剪1.0最大步数按数据量估算控制在1-2个epoch分布式DeepSpeed ZeRO Stage 214B以上考虑Stage 3上下文丢失率使用约0.1的dropout防止小数据量过拟合启动训练后前几百步是观察期。重点关注三件事loss是否按预期下降、loss曲线是否平稳、显存和吞吐是否达到预期。如果loss在前300步不降反升先检查数据是否混入了大量乱码或错误标签如果吞吐远低于预期检查数据加载和tokenizer是不是成了瓶颈。4.4 评测设计不要只看Loss要看业务指标训练完成不等于模型可用。行业模型的评测要分层设计我习惯按三个层次来做第一层语言能力体检。跑通用基准C-Eval、MMLU、GSM8K等确认CPT没有把通用能力拉崩。和底座模型对比分数波动在合理范围内说明知识注入没有严重损伤原有能力。第二层行业知识测试。分两种一是闭卷知识问答构造一批行业概念解释、术语辨析、标准条款问答看模型能不能准确作答二是完形/预测任务把行业文档中的关键实体或术语抠掉让模型预测被遮住的token准确率能直接反映模型对行业语料的学习程度。第三层真实业务场景验证。把模型接入内部业务工具拿真实的脱敏业务输入跑一遍让业务专家对输出结果打分。我见过太多模型在评测集上指标漂亮一上真业务就拉胯的情况。评测集是人造的业务才是真实的这个环节不能省。评测迭代也很重要。训练中途就可以定期比如每500步保存checkpoint然后做一轮迷你评测观察行业知识指标和通用能力指标的变化曲线。这样你能找到那个“行业知识涨得最快、通用能力掉得最少”的最优点位而不是等到全部训练完才发现模型已经过拟合了。5. 常见问题排查与避坑实录5.1 灾难性遗忘最常踩的坑怎么控制灾难性遗忘的表现很典型训练完行业知识是涨了但模型以前会的通用问答、代码生成、逻辑推理全变差了。除了前面说的混合通用数据、控制学习率之外还有个有效的后手——回滚和参数插值。如果你保存了足够多的中间checkpoint选择通用能力下降点之前的某个checkpoint或者对两个checkpoint做权重平均weight averaging往往能找到一个更好的平衡点。我试过在7B模型上对不同阶段checkpoint做简单平均通用能力和行业能力都保住了效果比单点checkpoint更稳。5.2 Loss不降或异常飙升先查数据再查参数Loss不降九成是数据问题。我遇到过的情况包括数据里有大量重复的“乱码”长文本、切分边界没处理好导致样本内部混杂了两份不相关文档、tokenizer对行业生僻词切分过于碎片化导致学习困难。排查手法是先抓一批训练样本人工看再检查词表覆盖率和数据去重报告。Loss飙升则多是参数问题。学习率过大是最常见的原因直接把学习率降一半再重启训练即可。另外优化器状态、warmup设置、梯度累积步数不匹配也会引起不稳定。记住一个原则出问题先固定其他变量一次只改一个参数用对照组说话别瞎调。5.3 评测指标和实际体验对不上可能漏了什么有的团队声称模型评测分数提升了10%但业务方试用后觉得“跟以前差不多”。这时要检查你的评测集是不是和训练集太像——如果评测问题都来自训练语料模型记住了答案分数虚高是必然的。合格的做法是构造“时间切分”评测集把评测语料的时间戳设置在训练语料之后确保模型没见过评测内容。同时引入业务专家做盲测让专家在不知道答案来源的情况下评估模型输出的准确性和专业性这个动作比任何自动评估都更能暴露真实水平。5.4 算力有限怎么低成本起步几条实用建议不是所有团队都有几百张GPU。预算有限时我建议从7B或更小的模型开始把流程跑通、把数据验证好再考虑上大模型。底座模型的增量收益在小模型上反而更容易体现。用LoRA做CPT的低成本验证。严格来说LoRA做CPT的效果可能不如全参训练但用来验证数据质量和训练方向是性价比极高的选择。先用LoRA跑一个小规模实验确认行业知识确实涨了再决定是否投入全参训练。用高质量小数据替代大数据。数据量小没关系关键是覆盖核心业务场景的“主干知识”。宁可1亿token的精品行业语料也不要10亿token的“注水”数据。复用开源社区的资源。HuggingFace上有不少行业预训练语料库法律、医疗、金融等可以从中选取高质量子集作为起点再用自有的行业数据做增量补充。最后分享一点体会做CPT这件事最深的体会就是技术门槛并没有想象中那么高难的永远是数据质量和对业务的理解。训练框架、参数配置、评测工具都是成熟公开的真正决定一个行业模型能不能落地的是——你对你所在行业的语言、知识、业务逻辑有没有真正吃透。我自己做了几个行业的CPT项目后发现每次数据清洗阶段花的时间最多但回报也是最大的。如果你正准备启动一个行业模型项目建议把60%的精力放在数据和业务调研上剩下40%再给到训练和调参。方向对了模型不会差到哪里去方向错了再贵的GPU也救不回来。