Research Library
论文导读
从原始研究理解 AI:模型架构、训练与对齐、检索、推理、Agent、多模态与评测。
选文范围与日期口径
精选与课程概念直接相关的原始论文,不是全量数据库或热度榜。基础导读依据论文版本页与公开摘要,2026 年专题另核对相关正文;未逐篇复现实验。日期统一为 arXiv 首版提交日期(UTC),不推断全渠道首次发表日。arXiv 存档本身不代表通过同行评审。
外部论文、代码和数据在原站打开,本站不托管镜像;不同网络的访问情况由原站决定。
论文目录
共 21 篇
Attention Is All You Need
Transformer:用注意力组织序列
不靠循环网络,如何处理词语之间的关系?
用 Attention(注意力)替代循环与卷积来构建序列转换模型,提升训练并行性;论文主要在机器翻译上验证。
阅读提示与结论边界
Transformer:用注意力组织序列
Attention Is All You Need
- 研究问题
- 不靠循环网络,如何处理词语之间的关系?
- 主要贡献
- 用 Attention(注意力)替代循环与卷积来构建序列转换模型,提升训练并行性;论文主要在机器翻译上验证。
- 阅读重点
- 先看模型结构图,再区分 Self-Attention 与位置编码。
- 结论边界
- Transformer 是架构,不等于 LLM,也不意味着所有现代模型都只采用同一种结构。
- 作者
- Ashish Vaswani et al.
- 版本记录
- arXiv 首版(UTC)2017-06-12 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT:双向语言表示
同一句话的左右文,能否一起帮助理解一个词?
通过双向 Transformer 预训练语言表示,再针对下游任务微调,是理解 Encoder(编码器)路线的重要入口。
阅读提示与结论边界
BERT:双向语言表示
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- 研究问题
- 同一句话的左右文,能否一起帮助理解一个词?
- 主要贡献
- 通过双向 Transformer 预训练语言表示,再针对下游任务微调,是理解 Encoder(编码器)路线的重要入口。
- 阅读重点
- 对照预训练与微调示意图,先理解 Masked Language Modeling。
- 结论边界
- BERT 的训练目标与自回归聊天模型不同;不是所有语言模型都在逐字续写。
- 作者
- Jacob Devlin et al.
- 版本记录
- arXiv 首版(UTC)2018-10-11 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Language Models are Few-Shot Learners
GPT-3:上下文里的少样本学习
给模型几个示例,能否直接完成新任务?
展示大规模自回归语言模型在多种任务上的 Few-shot 表现,示例放在上下文中,任务执行时不更新模型梯度。
阅读提示与结论边界
GPT-3:上下文里的少样本学习
Language Models are Few-Shot Learners
- 研究问题
- 给模型几个示例,能否直接完成新任务?
- 主要贡献
- 展示大规模自回归语言模型在多种任务上的 Few-shot 表现,示例放在上下文中,任务执行时不更新模型梯度。
- 阅读重点
- 先比较 Zero-shot、One-shot、Few-shot 的输入形式。
- 结论边界
- In-context Learning(上下文学习)不等于 Fine-tuning(微调);结果不能脱离任务与数据污染风险理解。
- 作者
- Tom B. Brown et al.
- 版本记录
- arXiv 首版(UTC)2020-05-28 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Training Compute-Optimal Large Language Models
Chinchilla:参数和数据如何分配
固定训练预算下,模型越大就一定越好吗?
研究参数量与训练 Token 数之间的计算预算分配,说明只放大参数、训练数据不足也会浪费算力。
阅读提示与结论边界
Chinchilla:参数和数据如何分配
Training Compute-Optimal Large Language Models
- 研究问题
- 固定训练预算下,模型越大就一定越好吗?
- 主要贡献
- 研究参数量与训练 Token 数之间的计算预算分配,说明只放大参数、训练数据不足也会浪费算力。
- 阅读重点
- 关注计算预算、参数量、训练 Token 三者的关系。
- 结论边界
- 原论文的最优配置依赖实验范围;不能把比例直接当成所有模型的预算公式。
- 作者
- Jordan Hoffmann et al.
- 版本记录
- arXiv 首版(UTC)2022-03-29 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Training language models to follow instructions with human feedback
InstructGPT:从续写到遵循指令
会续写的模型,怎样更符合人的指令和偏好?
把人工示范、偏好排序与强化学习串成后训练流程,是理解 SFT 与 RLHF 的典型案例。
阅读提示与结论边界
InstructGPT:从续写到遵循指令
Training language models to follow instructions with human feedback
- 研究问题
- 会续写的模型,怎样更符合人的指令和偏好?
- 主要贡献
- 把人工示范、偏好排序与强化学习串成后训练流程,是理解 SFT 与 RLHF 的典型案例。
- 阅读重点
- 先看三阶段流程,分清示范数据与偏好数据。
- 结论边界
- 人类偏好不等于事实正确;论文公开流程不代表某个商业产品今天的全部内部实现。
- 作者
- Long Ouyang et al.
- 版本记录
- arXiv 首版(UTC)2022-03-04 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
DPO:直接使用偏好对优化
偏好对齐一定要单独训练奖励模型吗?
通过重参数化,将特定偏好优化目标写成可直接训练的损失;原始方法不需要独立奖励模型和 PPO 训练环节。
阅读提示与结论边界
DPO:直接使用偏好对优化
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
- 研究问题
- 偏好对齐一定要单独训练奖励模型吗?
- 主要贡献
- 通过重参数化,将特定偏好优化目标写成可直接训练的损失;原始方法不需要独立奖励模型和 PPO 训练环节。
- 阅读重点
- 比较 DPO 与奖励模型加 RL 的数据和训练流程。
- 结论边界
- 它不是所有 RLHF 方法的普遍替代品,效果仍受偏好数据与训练设置影响。
- 作者
- Rafael Rafailov et al.
- 版本记录
- arXiv 首版(UTC)2023-05-29 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
LoRA: Low-Rank Adaptation of Large Language Models
LoRA:低秩参数适配
能不能只训练少量参数来适配新任务?
冻结预训练权重,用低秩矩阵表示增量更新,减少需要训练的参数与相关训练开销。
阅读提示与结论边界
LoRA:低秩参数适配
LoRA: Low-Rank Adaptation of Large Language Models
- 研究问题
- 能不能只训练少量参数来适配新任务?
- 主要贡献
- 冻结预训练权重,用低秩矩阵表示增量更新,减少需要训练的参数与相关训练开销。
- 阅读重点
- 先看冻结权重与可训练低秩支路的结构图。
- 结论边界
- LoRA 仍会训练参数,不是给模型接知识库,也不意味着无需显存或必然达到全量微调效果。
- 作者
- Edward J. Hu et al.
- 版本记录
- arXiv 首版(UTC)2021-06-17 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
RAG:把检索证据接入生成
模型参数之外的知识,怎样参与回答?
将参数化生成模型与外部稠密检索索引结合,在知识密集型任务上研究检索与生成协作。
阅读提示与结论边界
RAG:把检索证据接入生成
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- 研究问题
- 模型参数之外的知识,怎样参与回答?
- 主要贡献
- 将参数化生成模型与外部稠密检索索引结合,在知识密集型任务上研究检索与生成协作。
- 阅读重点
- 先区分参数里的知识与外部文档,再看两种检索生成形式。
- 结论边界
- 原论文包含联合适配训练;今天的 RAG 是更广的工程范式。检索到文本仍不保证最终回答正确。
- 作者
- Patrick Lewis et al.
- 版本记录
- arXiv 首版(UTC)2020-05-22 · NeurIPS 2020
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Lost in the Middle: How Language Models Use Long Contexts
长上下文:装得下不等于用得好
关键证据放在长文的不同位置,效果一样吗?
在多文档问答和键值检索任务中观察到位置敏感性,提示上下文窗口容量与有效利用能力需要分别评估。
阅读提示与结论边界
长上下文:装得下不等于用得好
Lost in the Middle: How Language Models Use Long Contexts
- 研究问题
- 关键证据放在长文的不同位置,效果一样吗?
- 主要贡献
- 在多文档问答和键值检索任务中观察到位置敏感性,提示上下文窗口容量与有效利用能力需要分别评估。
- 阅读重点
- 看证据位置变化实验,再思考自己的检索与上下文排序。
- 结论边界
- 研究对应当时的模型与任务,不应直接断言所有新模型都呈现相同幅度的问题。
- 作者
- Nelson F. Liu et al.
- 版本记录
- arXiv 首版(UTC)2023-07-06 · TACL(2023 年接收)
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
CoT:分步示例与推理提示
给出分步示范,是否有助于复杂问题求解?
在提示中提供带中间步骤的示例,研究模型在算术、常识与符号推理任务上的变化。
阅读提示与结论边界
CoT:分步示例与推理提示
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
- 研究问题
- 给出分步示范,是否有助于复杂问题求解?
- 主要贡献
- 在提示中提供带中间步骤的示例,研究模型在算术、常识与符号推理任务上的变化。
- 阅读重点
- 先比较普通示例与带推理步骤的示例。
- 结论边界
- CoT Prompting 不等于通过 RL 训练推理模型;可见解释也不自动等于真实内部决策过程。
- 作者
- Jason Wei et al.
- 版本记录
- arXiv 首版(UTC)2022-01-28 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
Test-time Compute:推理时如何花算力
同一个模型多想几步,怎样才不浪费计算?
比较基于验证器的搜索与答案修订等方法,讨论依据问题难度分配推理时计算预算。
阅读提示与结论边界
Test-time Compute:推理时如何花算力
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
- 研究问题
- 同一个模型多想几步,怎样才不浪费计算?
- 主要贡献
- 比较基于验证器的搜索与答案修订等方法,讨论依据问题难度分配推理时计算预算。
- 阅读重点
- 先区分训练计算与推理计算,再看不同难度下的预算策略。
- 结论边界
- 结论依赖任务、验证器和预算,不是无限增加推理时间就一定能解决问题。
- 作者
- Charlie Snell et al.
- 版本记录
- arXiv 首版(UTC)2024-08-06 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
DeepSeek-R1:强化学习与推理能力
推理能力能否从可验证的奖励信号中学到?
研究通过强化学习激励推理行为,并利用大模型产生的推理模式帮助较小模型;强调数学、代码等可验证任务。
阅读提示与结论边界
DeepSeek-R1:强化学习与推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
- 研究问题
- 推理能力能否从可验证的奖励信号中学到?
- 主要贡献
- 研究通过强化学习激励推理行为,并利用大模型产生的推理模式帮助较小模型;强调数学、代码等可验证任务。
- 阅读重点
- 先看奖励如何定义,再区分强化学习、示范学习与蒸馏。
- 结论边界
- 这不等于完全没有训练数据或奖励设计;可验证任务的提升不能直接外推到所有开放问题。
- 作者
- DeepSeek-AI et al.
- 版本记录
- arXiv 首版(UTC)2025-01-22 · Nature 2025;arXiv 于 2026-01-04 修订
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct:推理、行动与观察
模型如何根据工具返回的信息调整下一步?
将推理与行动交替组织,利用环境观察更新后续步骤,在问答与交互式任务中研究这一模式。
阅读提示与结论边界
ReAct:推理、行动与观察
ReAct: Synergizing Reasoning and Acting in Language Models
- 研究问题
- 模型如何根据工具返回的信息调整下一步?
- 主要贡献
- 将推理与行动交替组织,利用环境观察更新后续步骤,在问答与交互式任务中研究这一模式。
- 阅读重点
- 沿一个任务轨迹读 Thought、Action、Observation。
- 结论边界
- ReAct 是一种交互模式,不等于完整 Agent 产品;权限、停止条件与失败恢复仍需工程实现。
- 作者
- Shunyu Yao et al.
- 版本记录
- arXiv 首版(UTC)2022-10-06 · ICLR 2023
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
SWE-bench:真实仓库中的问题修复
会写代码,是否就能修复真实软件问题?
从真实仓库问题与修复任务出发,让模型生成补丁并用测试评估,拓展了单函数代码题之外的评测视角。
阅读提示与结论边界
SWE-bench:真实仓库中的问题修复
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
- 研究问题
- 会写代码,是否就能修复真实软件问题?
- 主要贡献
- 从真实仓库问题与修复任务出发,让模型生成补丁并用测试评估,拓展了单函数代码题之外的评测视角。
- 阅读重点
- 先读任务定义和测试判定,再比较模型与系统配置。
- 结论边界
- 分数受数据集版本、Agent Harness、工具和计算预算影响;不能直接解释为就业替代比例。
- 作者
- Carlos E. Jimenez et al.
- 版本记录
- arXiv 首版(UTC)2023-10-10 · ICLR 2024
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Measuring Massive Multitask Language Understanding
MMLU:多学科知识测评
如何同时观察多个学科的知识问答能力?
用覆盖多个学科的选择题衡量模型的知识与问题求解表现,提供跨任务比较的共同题集。
阅读提示与结论边界
MMLU:多学科知识测评
Measuring Massive Multitask Language Understanding
- 研究问题
- 如何同时观察多个学科的知识问答能力?
- 主要贡献
- 用覆盖多个学科的选择题衡量模型的知识与问题求解表现,提供跨任务比较的共同题集。
- 阅读重点
- 先看任务覆盖与题目形式,再看分数的适用范围。
- 结论边界
- 选择题分数不代表真实工具使用、长流程可靠性或岗位胜任力;须检查污染与评测设置。
- 作者
- Dan Hendrycks et al.
- 版本记录
- arXiv 首版(UTC)2020-09-07 · ICLR 2021
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Learning Transferable Visual Models From Natural Language Supervision
CLIP:连接图像与文本的表示
图像和自然语言能否进入可比较的表示空间?
用图文配对的对比学习建立跨模态表示,并研究自然语言描述对视觉任务迁移的作用。
阅读提示与结论边界
CLIP:连接图像与文本的表示
Learning Transferable Visual Models From Natural Language Supervision
- 研究问题
- 图像和自然语言能否进入可比较的表示空间?
- 主要贡献
- 用图文配对的对比学习建立跨模态表示,并研究自然语言描述对视觉任务迁移的作用。
- 阅读重点
- 先看图文双编码器与对比目标,再区分检索和生成。
- 结论边界
- CLIP 本身不是文生图生成器;图文相似度也不保证对细节、关系或计数的精确理解。
- 作者
- Alec Radford et al.
- 版本记录
- arXiv 首版(UTC)2021-02-26 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Denoising Diffusion Probabilistic Models
DDPM:从噪声中逐步生成图像
向图像加噪声的过程,能否学着反过来做?
将生成建模为学习反向去噪过程,是理解 Diffusion Model(扩散模型)的一条基础路线。
阅读提示与结论边界
DDPM:从噪声中逐步生成图像
Denoising Diffusion Probabilistic Models
- 研究问题
- 向图像加噪声的过程,能否学着反过来做?
- 主要贡献
- 将生成建模为学习反向去噪过程,是理解 Diffusion Model(扩散模型)的一条基础路线。
- 阅读重点
- 先对照前向加噪与反向去噪两条过程。
- 结论边界
- 原始工作不等于所有文生图产品的完整实现;条件控制、潜空间和编辑能力还涉及后续研究。
- 作者
- Jonathan Ho et al.
- 版本记录
- arXiv 首版(UTC)2020-06-19 · arXiv 论文存档
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction
Hyper-tau-Bench:Agent 能被完整交付吗?
能写出可运行代码,是否就能交付业务 Agent?
把构建客服 Agent 本身作为任务,让开发 Agent 根据业务材料、需求、已有代码与成本约束交付系统,再由留出模拟用户验收。
阅读提示与结论边界
Hyper-tau-Bench:Agent 能被完整交付吗?
τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction
- 研究问题
- 能写出可运行代码,是否就能交付业务 Agent?
- 主要贡献
- 把构建客服 Agent 本身作为任务,让开发 Agent 根据业务材料、需求、已有代码与成本约束交付系统,再由留出模拟用户验收。
- 阅读重点
- 区分底座模型、开发 Agent、交付系统,再读评测与局限。
- 结论边界
- 客户与用户由模型模拟;每项配置只进行一次构建,且不包含上线维护。分数不是企业部署成功率。
- 作者
- Quan Shi et al.
- 版本记录
- arXiv 首版(UTC)2026-09-04 · 预印本(v1)
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
CoT:解释易读,不等于机制可解释
看起来有道理的推理步骤,真的决定了答案吗?
通过多次续写估计推理步骤对预期奖励的影响,再比较文本评委的判断,发现可读文本只能透露部分步骤重要性。
阅读提示与结论边界
CoT:解释易读,不等于机制可解释
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
- 研究问题
- 看起来有道理的推理步骤,真的决定了答案吗?
- 主要贡献
- 通过多次续写估计推理步骤对预期奖励的影响,再比较文本评委的判断,发现可读文本只能透露部分步骤重要性。
- 阅读重点
- 先区分答案正确性、解释可读性与步骤实际作用,再看实验。
- 结论边界
- 主要研究数学推理,估计也含噪声;不证明所有 CoT 都无用,也不能把复现原答案与答对混为一谈。
- 作者
- Kevin Du et al.
- 版本记录
- arXiv 首版(UTC)2026-09-03 · 作者标注 COLM 2026;会议方记录未独立核实
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Questioning the Questions: Sustaining Self-Evolution in Reasoning Models
R-Quest:自己出题也要质量控制
模型不断自己出题、自己学习,为什么仍会退步?
针对无效题目和换说法的重复题,引入有效性与新颖性反馈,研究如何维持多轮自训练的收益。
阅读提示与结论边界
R-Quest:自己出题也要质量控制
Questioning the Questions: Sustaining Self-Evolution in Reasoning Models
- 研究问题
- 模型不断自己出题、自己学习,为什么仍会退步?
- 主要贡献
- 针对无效题目和换说法的重复题,引入有效性与新颖性反馈,研究如何维持多轮自训练的收益。
- 阅读重点
- 先看训练题目的有效性与多样性,别与推理时多想几步混淆。
- 结论边界
- 两个模型家族与有限训练轮数不代表无限自我提升;初始化仍包含外部标注与人工复核。
- 作者
- Jinyuan Li et al.
- 版本记录
- arXiv 首版(UTC)2026-10-03 · 预印本(v2,2026-10-06 修订)
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
跨语言评测:先检查计分单位
中文和英文的模型分数,是否用了可比的尺子?
控制数据、词表与模型大小后比较指标,指出 Token、字节等归一化方式可能带来跨语言偏差;研究语义等价句子的句子级指标。
阅读提示与结论边界
跨语言评测:先检查计分单位
Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
- 研究问题
- 中文和英文的模型分数,是否用了可比的尺子?
- 主要贡献
- 控制数据、词表与模型大小后比较指标,指出 Token、字节等归一化方式可能带来跨语言偏差;研究语义等价句子的句子级指标。
- 阅读重点
- 先回顾 Token 与 Tokenizer,再区分任务、指标和比较条件。
- 结论边界
- 依赖高质量平行句,语言覆盖有限;不能称为完全无偏,也不能据此判断所有中文应用能力。
- 作者
- Xiulin Yang et al.
- 版本记录
- arXiv 首版(UTC)2026-08-25 · 作者标注 EMNLP 2026 CR;会议方记录未独立核实
- 编辑核对
- 2026-10-22;导读不是实验复现或外部专家审稿。
关联概念
原始资料
没有匹配的论文
试试更短的关键词,或清除筛选条件。