Pre-training（预训练）

先让模型在大规模通用数据上学习语言、图像或代码中的模式，得到可以继续适配的底座。

预训练以自监督或弱监督目标优化大规模模型，使其获得通用表示、生成和迁移能力。

语言模型常预测被遮挡或后续 Token，视觉模型可做分类、对比学习或重建；训练误差通过反向传播更新参数。

数据治理、去重、混合比例、训练稳定性、并行策略和评测决定预训练是否可复现和可用。