Research Library

论文导读

从原始研究理解 AI:模型架构、训练与对齐、检索、推理、Agent、多模态与评测。

21 篇精选论文7 个研究方向目录更新 2026-10-24
选文范围与日期口径

精选与课程概念直接相关的原始论文,不是全量数据库或热度榜。基础导读依据论文版本页与公开摘要,2026 年专题另核对相关正文;未逐篇复现实验。日期统一为 arXiv 首版提交日期(UTC),不推断全渠道首次发表日。arXiv 存档本身不代表通过同行评审。

外部论文、代码和数据在原站打开,本站不托管镜像;不同网络的访问情况由原站决定。

论文目录

共 21 篇

01
模型架构基础导读

Attention Is All You Need

Transformer:用注意力组织序列

不靠循环网络,如何处理词语之间的关系?

用 Attention(注意力)替代循环与卷积来构建序列转换模型,提升训练并行性;论文主要在机器翻译上验证。

阅读提示与结论边界

Transformer:用注意力组织序列

Attention Is All You Need

研究问题
不靠循环网络,如何处理词语之间的关系?
主要贡献
用 Attention(注意力)替代循环与卷积来构建序列转换模型,提升训练并行性;论文主要在机器翻译上验证。
阅读重点
先看模型结构图,再区分 Self-Attention 与位置编码。
结论边界
Transformer 是架构,不等于 LLM,也不意味着所有现代模型都只采用同一种结构。
作者
Ashish Vaswani et al.
版本记录
arXiv 首版(UTC)2017-06-12 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

02
模型架构基础导读

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT:双向语言表示

同一句话的左右文,能否一起帮助理解一个词?

通过双向 Transformer 预训练语言表示,再针对下游任务微调,是理解 Encoder(编码器)路线的重要入口。

阅读提示与结论边界

BERT:双向语言表示

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

研究问题
同一句话的左右文,能否一起帮助理解一个词?
主要贡献
通过双向 Transformer 预训练语言表示,再针对下游任务微调,是理解 Encoder(编码器)路线的重要入口。
阅读重点
对照预训练与微调示意图,先理解 Masked Language Modeling。
结论边界
BERT 的训练目标与自回归聊天模型不同;不是所有语言模型都在逐字续写。
作者
Jacob Devlin et al.
版本记录
arXiv 首版(UTC)2018-10-11 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

03
模型架构基础导读

Language Models are Few-Shot Learners

GPT-3:上下文里的少样本学习

给模型几个示例,能否直接完成新任务?

展示大规模自回归语言模型在多种任务上的 Few-shot 表现,示例放在上下文中,任务执行时不更新模型梯度。

阅读提示与结论边界

GPT-3:上下文里的少样本学习

Language Models are Few-Shot Learners

研究问题
给模型几个示例,能否直接完成新任务?
主要贡献
展示大规模自回归语言模型在多种任务上的 Few-shot 表现,示例放在上下文中,任务执行时不更新模型梯度。
阅读重点
先比较 Zero-shot、One-shot、Few-shot 的输入形式。
结论边界
In-context Learning(上下文学习)不等于 Fine-tuning(微调);结果不能脱离任务与数据污染风险理解。
作者
Tom B. Brown et al.
版本记录
arXiv 首版(UTC)2020-05-28 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

04
训练与对齐研究进阶

Training Compute-Optimal Large Language Models

Chinchilla:参数和数据如何分配

固定训练预算下,模型越大就一定越好吗?

研究参数量与训练 Token 数之间的计算预算分配,说明只放大参数、训练数据不足也会浪费算力。

阅读提示与结论边界

Chinchilla:参数和数据如何分配

Training Compute-Optimal Large Language Models

研究问题
固定训练预算下,模型越大就一定越好吗?
主要贡献
研究参数量与训练 Token 数之间的计算预算分配,说明只放大参数、训练数据不足也会浪费算力。
阅读重点
关注计算预算、参数量、训练 Token 三者的关系。
结论边界
原论文的最优配置依赖实验范围;不能把比例直接当成所有模型的预算公式。
作者
Jordan Hoffmann et al.
版本记录
arXiv 首版(UTC)2022-03-29 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

05
训练与对齐基础导读

Training language models to follow instructions with human feedback

InstructGPT:从续写到遵循指令

会续写的模型,怎样更符合人的指令和偏好?

把人工示范、偏好排序与强化学习串成后训练流程,是理解 SFT 与 RLHF 的典型案例。

阅读提示与结论边界

InstructGPT:从续写到遵循指令

Training language models to follow instructions with human feedback

研究问题
会续写的模型,怎样更符合人的指令和偏好?
主要贡献
把人工示范、偏好排序与强化学习串成后训练流程,是理解 SFT 与 RLHF 的典型案例。
阅读重点
先看三阶段流程,分清示范数据与偏好数据。
结论边界
人类偏好不等于事实正确;论文公开流程不代表某个商业产品今天的全部内部实现。
作者
Long Ouyang et al.
版本记录
arXiv 首版(UTC)2022-03-04 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

06
训练与对齐研究进阶

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

DPO:直接使用偏好对优化

偏好对齐一定要单独训练奖励模型吗?

通过重参数化,将特定偏好优化目标写成可直接训练的损失;原始方法不需要独立奖励模型和 PPO 训练环节。

阅读提示与结论边界

DPO:直接使用偏好对优化

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

研究问题
偏好对齐一定要单独训练奖励模型吗?
主要贡献
通过重参数化,将特定偏好优化目标写成可直接训练的损失;原始方法不需要独立奖励模型和 PPO 训练环节。
阅读重点
比较 DPO 与奖励模型加 RL 的数据和训练流程。
结论边界
它不是所有 RLHF 方法的普遍替代品,效果仍受偏好数据与训练设置影响。
作者
Rafael Rafailov et al.
版本记录
arXiv 首版(UTC)2023-05-29 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

07
训练与对齐工程应用

LoRA: Low-Rank Adaptation of Large Language Models

LoRA:低秩参数适配

能不能只训练少量参数来适配新任务?

冻结预训练权重,用低秩矩阵表示增量更新,减少需要训练的参数与相关训练开销。

阅读提示与结论边界

LoRA:低秩参数适配

LoRA: Low-Rank Adaptation of Large Language Models

研究问题
能不能只训练少量参数来适配新任务?
主要贡献
冻结预训练权重,用低秩矩阵表示增量更新,减少需要训练的参数与相关训练开销。
阅读重点
先看冻结权重与可训练低秩支路的结构图。
结论边界
LoRA 仍会训练参数,不是给模型接知识库,也不意味着无需显存或必然达到全量微调效果。
作者
Edward J. Hu et al.
版本记录
arXiv 首版(UTC)2021-06-17 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

08
检索与上下文基础导读

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

RAG:把检索证据接入生成

模型参数之外的知识,怎样参与回答?

将参数化生成模型与外部稠密检索索引结合,在知识密集型任务上研究检索与生成协作。

阅读提示与结论边界

RAG:把检索证据接入生成

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

研究问题
模型参数之外的知识,怎样参与回答?
主要贡献
将参数化生成模型与外部稠密检索索引结合,在知识密集型任务上研究检索与生成协作。
阅读重点
先区分参数里的知识与外部文档,再看两种检索生成形式。
结论边界
原论文包含联合适配训练;今天的 RAG 是更广的工程范式。检索到文本仍不保证最终回答正确。
作者
Patrick Lewis et al.
版本记录
arXiv 首版(UTC)2020-05-22 · NeurIPS 2020
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

09
检索与上下文工程应用

Lost in the Middle: How Language Models Use Long Contexts

长上下文:装得下不等于用得好

关键证据放在长文的不同位置,效果一样吗?

在多文档问答和键值检索任务中观察到位置敏感性,提示上下文窗口容量与有效利用能力需要分别评估。

阅读提示与结论边界

长上下文:装得下不等于用得好

Lost in the Middle: How Language Models Use Long Contexts

研究问题
关键证据放在长文的不同位置,效果一样吗?
主要贡献
在多文档问答和键值检索任务中观察到位置敏感性,提示上下文窗口容量与有效利用能力需要分别评估。
阅读重点
看证据位置变化实验,再思考自己的检索与上下文排序。
结论边界
研究对应当时的模型与任务,不应直接断言所有新模型都呈现相同幅度的问题。
作者
Nelson F. Liu et al.
版本记录
arXiv 首版(UTC)2023-07-06 · TACL(2023 年接收)
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

10
推理与计算基础导读

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

CoT:分步示例与推理提示

给出分步示范,是否有助于复杂问题求解?

在提示中提供带中间步骤的示例,研究模型在算术、常识与符号推理任务上的变化。

阅读提示与结论边界

CoT:分步示例与推理提示

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

研究问题
给出分步示范,是否有助于复杂问题求解?
主要贡献
在提示中提供带中间步骤的示例,研究模型在算术、常识与符号推理任务上的变化。
阅读重点
先比较普通示例与带推理步骤的示例。
结论边界
CoT Prompting 不等于通过 RL 训练推理模型;可见解释也不自动等于真实内部决策过程。
作者
Jason Wei et al.
版本记录
arXiv 首版(UTC)2022-01-28 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

11
推理与计算研究进阶

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

Test-time Compute:推理时如何花算力

同一个模型多想几步,怎样才不浪费计算?

比较基于验证器的搜索与答案修订等方法,讨论依据问题难度分配推理时计算预算。

阅读提示与结论边界

Test-time Compute:推理时如何花算力

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

研究问题
同一个模型多想几步,怎样才不浪费计算?
主要贡献
比较基于验证器的搜索与答案修订等方法,讨论依据问题难度分配推理时计算预算。
阅读重点
先区分训练计算与推理计算,再看不同难度下的预算策略。
结论边界
结论依赖任务、验证器和预算,不是无限增加推理时间就一定能解决问题。
作者
Charlie Snell et al.
版本记录
arXiv 首版(UTC)2024-08-06 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

12
推理与计算研究进阶

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-R1:强化学习与推理能力

推理能力能否从可验证的奖励信号中学到?

研究通过强化学习激励推理行为,并利用大模型产生的推理模式帮助较小模型;强调数学、代码等可验证任务。

阅读提示与结论边界

DeepSeek-R1:强化学习与推理能力

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

研究问题
推理能力能否从可验证的奖励信号中学到?
主要贡献
研究通过强化学习激励推理行为,并利用大模型产生的推理模式帮助较小模型;强调数学、代码等可验证任务。
阅读重点
先看奖励如何定义,再区分强化学习、示范学习与蒸馏。
结论边界
这不等于完全没有训练数据或奖励设计;可验证任务的提升不能直接外推到所有开放问题。
作者
DeepSeek-AI et al.
版本记录
arXiv 首版(UTC)2025-01-22 · Nature 2025;arXiv 于 2026-01-04 修订
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

13
智能体工程基础导读

ReAct: Synergizing Reasoning and Acting in Language Models

ReAct:推理、行动与观察

模型如何根据工具返回的信息调整下一步?

将推理与行动交替组织,利用环境观察更新后续步骤,在问答与交互式任务中研究这一模式。

阅读提示与结论边界

ReAct:推理、行动与观察

ReAct: Synergizing Reasoning and Acting in Language Models

研究问题
模型如何根据工具返回的信息调整下一步?
主要贡献
将推理与行动交替组织,利用环境观察更新后续步骤,在问答与交互式任务中研究这一模式。
阅读重点
沿一个任务轨迹读 Thought、Action、Observation。
结论边界
ReAct 是一种交互模式,不等于完整 Agent 产品;权限、停止条件与失败恢复仍需工程实现。
作者
Shunyu Yao et al.
版本记录
arXiv 首版(UTC)2022-10-06 · ICLR 2023
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

14
评测与可靠性工程应用

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

SWE-bench:真实仓库中的问题修复

会写代码,是否就能修复真实软件问题?

从真实仓库问题与修复任务出发,让模型生成补丁并用测试评估,拓展了单函数代码题之外的评测视角。

阅读提示与结论边界

SWE-bench:真实仓库中的问题修复

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

研究问题
会写代码,是否就能修复真实软件问题?
主要贡献
从真实仓库问题与修复任务出发,让模型生成补丁并用测试评估,拓展了单函数代码题之外的评测视角。
阅读重点
先读任务定义和测试判定,再比较模型与系统配置。
结论边界
分数受数据集版本、Agent Harness、工具和计算预算影响;不能直接解释为就业替代比例。
作者
Carlos E. Jimenez et al.
版本记录
arXiv 首版(UTC)2023-10-10 · ICLR 2024
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

15
评测与可靠性基础导读

Measuring Massive Multitask Language Understanding

MMLU:多学科知识测评

如何同时观察多个学科的知识问答能力?

用覆盖多个学科的选择题衡量模型的知识与问题求解表现,提供跨任务比较的共同题集。

阅读提示与结论边界

MMLU:多学科知识测评

Measuring Massive Multitask Language Understanding

研究问题
如何同时观察多个学科的知识问答能力?
主要贡献
用覆盖多个学科的选择题衡量模型的知识与问题求解表现,提供跨任务比较的共同题集。
阅读重点
先看任务覆盖与题目形式,再看分数的适用范围。
结论边界
选择题分数不代表真实工具使用、长流程可靠性或岗位胜任力;须检查污染与评测设置。
作者
Dan Hendrycks et al.
版本记录
arXiv 首版(UTC)2020-09-07 · ICLR 2021
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

16
多模态与生成基础导读

Learning Transferable Visual Models From Natural Language Supervision

CLIP:连接图像与文本的表示

图像和自然语言能否进入可比较的表示空间?

用图文配对的对比学习建立跨模态表示,并研究自然语言描述对视觉任务迁移的作用。

阅读提示与结论边界

CLIP:连接图像与文本的表示

Learning Transferable Visual Models From Natural Language Supervision

研究问题
图像和自然语言能否进入可比较的表示空间?
主要贡献
用图文配对的对比学习建立跨模态表示,并研究自然语言描述对视觉任务迁移的作用。
阅读重点
先看图文双编码器与对比目标,再区分检索和生成。
结论边界
CLIP 本身不是文生图生成器;图文相似度也不保证对细节、关系或计数的精确理解。
作者
Alec Radford et al.
版本记录
arXiv 首版(UTC)2021-02-26 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

17
多模态与生成研究进阶

Denoising Diffusion Probabilistic Models

DDPM:从噪声中逐步生成图像

向图像加噪声的过程,能否学着反过来做?

将生成建模为学习反向去噪过程,是理解 Diffusion Model(扩散模型)的一条基础路线。

阅读提示与结论边界

DDPM:从噪声中逐步生成图像

Denoising Diffusion Probabilistic Models

研究问题
向图像加噪声的过程,能否学着反过来做?
主要贡献
将生成建模为学习反向去噪过程,是理解 Diffusion Model(扩散模型)的一条基础路线。
阅读重点
先对照前向加噪与反向去噪两条过程。
结论边界
原始工作不等于所有文生图产品的完整实现;条件控制、潜空间和编辑能力还涉及后续研究。
作者
Jonathan Ho et al.
版本记录
arXiv 首版(UTC)2020-06-19 · arXiv 论文存档
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

18
智能体工程工程应用

τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction

Hyper-tau-Bench:Agent 能被完整交付吗?

能写出可运行代码,是否就能交付业务 Agent?

把构建客服 Agent 本身作为任务,让开发 Agent 根据业务材料、需求、已有代码与成本约束交付系统,再由留出模拟用户验收。

阅读提示与结论边界

Hyper-tau-Bench:Agent 能被完整交付吗?

τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction

研究问题
能写出可运行代码,是否就能交付业务 Agent?
主要贡献
把构建客服 Agent 本身作为任务,让开发 Agent 根据业务材料、需求、已有代码与成本约束交付系统,再由留出模拟用户验收。
阅读重点
区分底座模型、开发 Agent、交付系统,再读评测与局限。
结论边界
客户与用户由模型模拟;每项配置只进行一次构建,且不包含上线维护。分数不是企业部署成功率。
作者
Quan Shi et al.
版本记录
arXiv 首版(UTC)2026-09-04 · 预印本(v1)
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

19
推理与计算研究进阶

Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning

CoT:解释易读,不等于机制可解释

看起来有道理的推理步骤,真的决定了答案吗?

通过多次续写估计推理步骤对预期奖励的影响,再比较文本评委的判断,发现可读文本只能透露部分步骤重要性。

阅读提示与结论边界

CoT:解释易读,不等于机制可解释

Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning

研究问题
看起来有道理的推理步骤,真的决定了答案吗?
主要贡献
通过多次续写估计推理步骤对预期奖励的影响,再比较文本评委的判断,发现可读文本只能透露部分步骤重要性。
阅读重点
先区分答案正确性、解释可读性与步骤实际作用,再看实验。
结论边界
主要研究数学推理,估计也含噪声;不证明所有 CoT 都无用,也不能把复现原答案与答对混为一谈。
作者
Kevin Du et al.
版本记录
arXiv 首版(UTC)2026-09-03 · 作者标注 COLM 2026;会议方记录未独立核实
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

20
训练与对齐研究进阶

Questioning the Questions: Sustaining Self-Evolution in Reasoning Models

R-Quest:自己出题也要质量控制

模型不断自己出题、自己学习,为什么仍会退步?

针对无效题目和换说法的重复题,引入有效性与新颖性反馈,研究如何维持多轮自训练的收益。

阅读提示与结论边界

R-Quest:自己出题也要质量控制

Questioning the Questions: Sustaining Self-Evolution in Reasoning Models

研究问题
模型不断自己出题、自己学习,为什么仍会退步?
主要贡献
针对无效题目和换说法的重复题,引入有效性与新颖性反馈,研究如何维持多轮自训练的收益。
阅读重点
先看训练题目的有效性与多样性,别与推理时多想几步混淆。
结论边界
两个模型家族与有限训练轮数不代表无限自我提升;初始化仍包含外部标注与人工复核。
作者
Jinyuan Li et al.
版本记录
arXiv 首版(UTC)2026-10-03 · 预印本(v2,2026-10-06 修订)
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

21
评测与可靠性研究进阶

Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation

跨语言评测:先检查计分单位

中文和英文的模型分数,是否用了可比的尺子?

控制数据、词表与模型大小后比较指标,指出 Token、字节等归一化方式可能带来跨语言偏差;研究语义等价句子的句子级指标。

阅读提示与结论边界

跨语言评测:先检查计分单位

Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation

研究问题
中文和英文的模型分数,是否用了可比的尺子?
主要贡献
控制数据、词表与模型大小后比较指标,指出 Token、字节等归一化方式可能带来跨语言偏差;研究语义等价句子的句子级指标。
阅读重点
先回顾 Token 与 Tokenizer,再区分任务、指标和比较条件。
结论边界
依赖高质量平行句,语言覆盖有限;不能称为完全无偏,也不能据此判断所有中文应用能力。
作者
Xiulin Yang et al.
版本记录
arXiv 首版(UTC)2026-08-25 · 作者标注 EMNLP 2026 CR;会议方记录未独立核实
编辑核对
2026-10-22;导读不是实验复现或外部专家审稿。

关联概念

原始资料

论文导读