阿里开源 QwenLong-L1.5：主打超长上下文与记忆管理的新一代推理模型，性能较基线平均提升 9.9 分

阿里巴巴最近正式开源了一款面向超长上下文推理与记忆管理的新模型 —— QwenLong-L1.5。
这不是一次简单的模型参数升级，而是一整套**“长上下文推理后训练方案 + 智能体架构 + 记忆机制”**的系统性开源。

如果用一句话来形容它的定位，那就是：

你可以把整本技术手册、完整财报、法律法规文本一次性“丢给模型”，让它在跨章节、跨证据的情况下进行问答、总结、抽取和推理。

---

一、为什么“超长上下文”依然是大模型的核心难题？

在当前的大模型领域，上下文长度已经不再只是“能不能塞进去”的问题。

即便很多模型已经支持 128K、256K 甚至更长的上下文窗口，但在真实场景中仍然面临几个关键挑战：

• 📌 信息分布极不均匀：关键证据分散在文档不同位置
• 📌 跨段落、多跳推理困难：模型容易“只看近处，忽略远处”
• 📌 上下文越长，推理越不稳定：性能波动明显
• 📌 物理窗口仍然有限：再大的窗口也无法无限扩展

这意味着，仅靠“把上下文窗口拉长”并不能真正解决问题。

真正困难的，是如何在超过模型物理上下文限制的情况下，让模型持续、稳定地进行推理。

这正是 QwenLong-L1.5 要解决的核心问题。

---

二、QwenLong-L1.5 是什么？它解决了什么问题？

QwenLong-L1.5 是一个构建在 Qwen3-30B-A3B-Thinking 基础之上的长上下文推理模型。

在基座模型之上，它重点引入了三大关键能力：

1. 长上下文推理能力的系统性后训练方案
2. 超越物理上下文窗口的记忆管理机制
3. 面向真实复杂文档的智能体推理架构

换句话说，它不只是“一个模型”，而是：

一套可以被复用、被迁移的长上下文模型训练与推理方法论。

---

三、核心一：不再是“找针”，而是真正的多跳推理数据合成

长上下文训练长期面临一个现实问题：
高质量、可验证的训练数据极度稀缺。

很多现有方法仍然停留在所谓的 “needle-in-a-haystack”（大海捞针）任务上，也就是：

• 把一个事实藏在很长的文本里
• 测试模型能不能找到它

但这种任务并不能真实反映复杂文档推理场景。

QwenLong-L1.5 在数据合成层面做了一个关键转变：

👉 从“单点定位”转向“多跳、全局证据推理”

具体做法是：

• 将原始文档拆解为原子级事实
• 基于这些事实程序化组合问题
• 强制模型进行跨段落、多证据、多步骤的推理
• 所有问题都具备可验证的答案路径

这使得训练数据不再是“碰运气”，而是结构化地逼迫模型学会全局理解与推理。

---

四、核心二：为长上下文量身定制的强化学习策略

长上下文训练不仅难，而且极其不稳定。

随着序列长度增长，模型训练中常见的问题包括：

• 梯度震荡
• 学习过程崩溃
• 长序列样本被短样本“淹没”

为此，QwenLong-L1.5 引入了多项专门针对长上下文的 RL 策略：

1️⃣ 任务均衡采样（Task-Balanced Sampling）

通过控制 mini-batch 中不同任务、不同长度样本的比例，避免训练过程被短序列主导。

2️⃣ AEPO：自适应熵控制策略优化算法

这是 QwenLong-L1.5 的一个关键创新点：

• 通过熵约束机制动态调节策略更新
• 主动控制梯度规模
• 让模型可以在逐步增长的上下文长度上保持稳定训练

这使得模型能够“循序渐进”地适应超长推理，而不是一次性被压垮。

---

五、核心三：真正突破物理窗口的记忆管理机制

即便模型支持 256K 上下文，它仍然是一个硬上限。

QwenLong-L1.5 的解决方案是引入一套记忆管理框架，让模型具备“持续推理”的能力。

其核心思想是：

• 在物理上下文窗口内进行一次性推理
• 同时通过迭代式记忆更新机制保存关键信息
• 在后续推理中不断融合新信息与历史记忆

这一过程通过 多阶段融合的强化学习范式进行训练，使模型学会：

• 什么信息值得存入记忆
• 什么时候更新、什么时候遗忘
• 如何在新旧信息之间进行权衡

最终效果是：
模型的可推理范围，远远超过其物理上下文窗口本身。

---

六、性能表现：平均提升 9.9 分，并非只对“长文档”有效

在多个主流长上下文基准测试中，QwenLong-L1.5 相比其基线模型 Qwen3-30B-A3B-Thinking：

• 📈 平均性能提升 9.9 分
• 📊 在部分任务上达到与 GPT-5、Gemini-2.5-Pro 相当的水平

更重要的是，这种能力并没有“副作用”。

增强的长上下文推理能力，还显著提升了模型在以下通用任务中的表现：

• 数学推理
• 工具调用
• 长对话理解
• 多轮复杂指令执行

这说明：
强大的长上下文能力，本身就是通用推理能力的“放大器”。

---

七、为什么说这是一个“值得研究的开源项目”？

QwenLong-L1.5 真正有价值的地方，不只是模型权重，而是：

• ✅ 完整开源的后训练方案
• ✅ 可复用的数据合成思路
• ✅ 面向 Agent 的记忆管理架构
• ✅ 对企业级文档理解场景极具参考价值

无论你是：

• 在做 RAG / Agent / 企业知识库
• 研究 长上下文推理
• 构建 文档问答、法律、财务、技术分析系统

这套方案都具备非常高的学习与落地价值。

---

项目链接

GitHub：
👉 https://github.com/Tongyi-Zhiwen/Qwen-Doc/tree/main/QwenLong-L1.5