Papers - 2026-07-29
吾能观之数千而面色如故
Multimodal Agent#
JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents
这篇论文提出 JarvisHub，一个面向画布式多模态创作任务的开放式 agent harness。它把可编辑画布作为用户工作区、外部记忆、行动空间和共享项目状态，并用类型化节点与链接表示素材、依赖、版本和反馈。系统通过画布状态、协议桥和 agent runtime 三层架构，让 agent 能在可检查、可编辑的创作状态中持续规划、生成、修订和组织内容。作者强调该设计比传统单轮提示或线性对话更适合长时程创作协作，并支持人类随时介入。
3D LLM#
StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents
Computer-use agents are usually improved by strengthening perception: better models for reading a screenshot and choosing where to click. Yet a screenshot is only a lossy rendering of the underlying program state, e.g., the files, application backends, and DOM that hold the task data. Different states can produce the same pixels, while code can inspect and modify that state directly. StateAct is a code-first, multi-agent harness built around this distinction. Its main agent works directly with program state by using code, while a dedicated GUI subagent handles screenshot-and-click interaction on the few subgoals that need it, just 28 of 108 tasks and 1.1% of main-agent steps. The same direct access to program state also supports verification: an independent finish gate double-checks the saved result for structural failures, e.g., output that is missing, unsaved, or written to the wrong path. To stay on track over hundreds of steps, the main agent hands subgoals to fresh subagents, keeping its own context focused. On OSWorld 2.0, StateAct lifts Claude Opus 4.8 from 20.6% to 26.9% on binary success, and from 54.8% to 61.6% on partial success, at ~ 9x lower cost per task than the same model driven by screenshots alone; a code-only variant with no GUI subagent reaches only 45.9% partial, below that screenshot-based baseline's 54.8%. In general, grounding action, verification, and memory in state, what we call state-grounding, shifts the main bottleneck from perception toward reasoning: failures depend more on what the agent thinks than on what it sees.
Embodied Agent#
Progress Reward Modeling for Robotic Learning: A Comprehensive Survey
这是一篇关于机器人学习中 progress reward modeling 的综述，核心目标是为任务执行过程提供比终止成功信号更细粒度的进展反馈。作者系统梳理了 progress 模型的输入接口、输出形式、内部建模方法，以及监督数据和评测基准，试图统一不同方法的比较框架。文章指出现有研究在观测、目标定义、监督来源和评测协议上差异很大，导致结果难以横向比较。综述最后总结了当前方法的局限，并讨论了面向机器人学习的后续研究方向。
Data Pyramid for Embodied Manipulation
这篇论文把具身操作数据系统性地整理为一个“五层金字塔”，覆盖真实机器人数据、UMI 风格数据、第一/第三视角数据、仿真数据以及通用视觉语言数据。作者围绕可扩展性与机器人对齐之间的权衡，分析了各类数据在质量、多样性、可复用性和物理保真度上的差异，并进一步梳理近期具身基础模型的数据配方。论文还从数据混合方式出发，讨论数据组成如何影响感知、推理、规划、动作生成和世界预测等能力。实验部分主要是对现有模型与数据策略的系统分析，而不是提出单一模型指标刷新。
Agent Training and Evaluation#
Kimi K3: Open Frontier Intelligence
这篇工作提出了 Kimi K3，一个 2.8T 参数的 MoE 前沿模型，支持原生视觉能力和 100 万 token 的上下文窗口。作者结合 Kimi Delta Attention、Attention Residuals 和 Stable LatentMoE 等结构改进，并配合更精细的训练与数据配方，提升了长序列信息流动和专家激活效率。后训练阶段进一步用覆盖通用、agent 和代码任务的强化学习，以及多种推理强度设置，增强了组合泛化和长程执行能力。实验显示，Kimi K3 在长程代码、agent、知识、推理和视觉任务上达到前沿水平，并整体优于多种开源与部分闭源对比模型。
From Proprietary to Open-Source: Bridging the Distribution Gap via Multi-Agent Protocol Distillation in Agentic Search
这篇工作提出 Multi-Agent Protocol Distillation，用于把闭源教师模型的能力迁移到开源学生模型，重点面向 agentic search 场景。作者先用离线多智能体系统拆解查询、检索证据、修复失败搜索，并将探索轨迹整理成标准化 JSON 协议，再把该协议作为中间表示做蒸馏与强化学习联合训练。该设计绕开了无法直接匹配 logits 和原始轨迹风格漂移的问题，同时为学生策略提供更密集的监督信号。实验表明，MAPD 在 7 个问答基准上持续优于竞争性的蒸馏和 RL 方法，在 Qwen3-1.7B 与 Qwen3-4B 上分别达到 39.4% 和 44.4% 的平均成功率。
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
这篇论文研究了多轮长程规划能力从预训练到后训练的形成机制，并提出了一个可控的多轮环境来系统分析 agent 的规划学习过程。作者分别考察了预训练阶段的数据格式、分布和质量，以及后训练阶段的 GRPO、OPD 和多教师在策略蒸馏中的作用。实验表明，显式的世界模型式 CoT 状态转移建模能显著提升长程泛化，而低质量或自相矛盾轨迹会在长链路上放大误差并明显伤害性能。进一步结果显示，OPD 在低质量和长程设置下比 GRPO 更稳定，多教师在线蒸馏能够通过共享规划模式提升跨环境泛化与持续学习能力。