Xingjian Wang
Papers - 2026-08-19Blur image

Multimodal Agent#

GenRouter: Unified Workflow Routing for Agentic Image Generation

这篇工作提出 GenRouter,用于统一并路由 agentic 图像生成流程,目标是在复杂请求下自动选择更合适的工作流,避免简单任务走重型管线。作者先用 GenCanvas 将多样的生成代理流程标准化为统一原语和可执行模板,再结合需求画像、经验匹配和 Pareto 筛选进行动态路由。实验显示,该方法在多个基准上能获得更好的视觉对齐,同时将执行成本降低 95% 以上、延迟降低 65%。此外,系统还能通过累积经验持续自演化,带来更强的零样本泛化,并进一步将计算开销减半。

3D LLM#

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

Foundation GUI agents can automate complex digital tasks, but deployment is hindered by scarce and biased training data, ambiguous prompts, and unreliable execution. Routine workflows rely on user-specific tools and tacit conventions, so unstated instructions can produce arbitrary variations across runs. We present UI-Mate, a foundation GUI agent that integrates an environment-grounded training stack with in-context demonstration learning. UI-Mate makes three contributions: A Scalable Environment-Grounded Training Stack: A closed-loop data engine automates task generation, environment construction, rollout, filtering, capability balancing, SFT, and online RL across massively parallel environments via unified task-verifier bundles. In-Context Demonstration Learning: A mechanism that transforms multimodal demonstrations into flexible subtask-level workflows, follows relevant demonstrated steps, and re-plans from the live interface. OSWorkerBench Benchmark and Insights: A benchmark of 100 long-horizon office tasks across 41 applications that supports instruction-only and demonstration-guided evaluation. Its demonstration resources separate a 33-task self-demo setting, built from successful strong-agent rollouts of the same targets, from a 45-task variant-demo setting, built from human recordings of related but non-identical tasks. Experiments show that UI-Mate-27B sets a new open-weight state of the art on general computer-use benchmarks, scoring 77.0% on OSWorld-Verified and 66.2% on WindowsAgentArena. On OSWorkerBench, it reaches 41.0% strict success and 76.9% progress, outperforming its Qwen3.6-27B base by 17.7 and 24.5 points. On the 33-task self-demo subset, one demonstration raises strict success from 17.2% to 35.4% and progress from 67.9% to 81.1%, substantially improving long-horizon reliability. Project page: https://ui-mate.github.io.

3D Agent#

VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?

这篇工作研究多模态代理能否端到端构建 3D 开放世界,并提出 VibeWorlding 统一框架。作者先构建了 VWE-BENCH,包含 2,616 个 3D 资产、323 个人工标注种子世界和 6,828 条反向合成的多模态用户查询,用于系统评测与训练。方法上还提出 VibeWorlding-Gym,把资产检索、编辑和图像渲染统一为 MCP 工具,并结合基于规则的验证器来判断物理可行性与意图满足程度。实验显示,当前前沿多模态大模型在该任务上仍然不足,GPT-5.5 和 Qwen3.8-Max 的成功率都低于 60%,而强化学习后开源模型明显提升,VibeWorlder-30B-A3B 取得了所有评测模型中的最佳 Pass@1。

Agent Training and Evaluation#

StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling

这篇工作提出 StateM,通过扩展 Terminal-Bench 2.1 的执行与评测 harness 来提升终端代理的可评估性和可达性能。作者把提升重点放在测试环境、任务执行链路和评测流程的工程扩容上,而不是单纯依赖模型本体改进。实验结果显示,StateM 仅通过 harness scaling 就能在 Terminal-Bench 2.1 上达到 95.3% 的原始准确率,或以约 15 美元完成一次前沿级运行。结果表明,终端代理的上限很大程度上受评测与执行基础设施影响。

HarnessEval-W: Agentifying the Evaluation of Visual Worlds

这篇论文提出 HarnessEval-W,用代理化的方法来评测视觉世界中的模型与系统。作者将原本偏静态的视觉评测流程改造成可交互的 agent 评测框架,使系统能够在环境反馈下完成多步判断与操作。方法上重点是把评测流程工具化、任务化,并让代理在视觉世界中进行可复现的交互执行。实验表明,这种方式能更全面暴露视觉世界任务中的能力差异,也比传统静态指标更适合评估代理行为。

MOSS-VL Technical Report

这篇工作提出了 MOSS-VL,一个面向实时交互的开源视觉语言模型家族,核心目标是在生成回答的同时持续感知新输入。方法上,它用门控跨注意力让语言解码器只通过受控通路接收视觉信息,并通过合成的交互式数据监督模型学习何时发言、何时保持沉默以及何时修正回答,同时采用分阶段课程把实时相关训练集中到最后一阶段。实验显示,离线版本在相近规模下具有竞争力,并在时序推理视频数据集上表现领先。在线流式评测中,MOSS-VL-Realtime 在四个基准里有三个拿到最佳平均成绩,在强调主动行为的子集上明显优于基线。

ClawGym II: Exploring Black-Box RL on Agent Harness

这篇论文提出了一个用于复杂 agent harness 的黑盒强化学习框架,旨在稳定、可扩展地优化通用智能体。方法上,它构建了沙箱化执行基础设施来隔离任务环境与 harness,并在模型边界放置代理服务以捕获调用;随后把多轮轨迹重建为前缀树结构,并在该树上改造 PPO 和 GRPO 进行优化,同时保持训练与推理一致性。作者还引入了 mix-harness training,使单一模型可以联合适配不同 harness。实验中,使用 Qwen3-30A3B 在 ClawGym-Bench 上通过 OpenClaw 和 Claude Code 分别提升 Pass@1 9.98 和 14.81 个百分点,且在 200 到 400 步优化中保持稳定,并在 JobBench 和 OfficeQA 等更难任务上也带来一致收益。

Agentic Transaction: Towards ACID-Compliant Agent Systems

这篇论文提出了“agentic transaction”概念,并给出一个 ACID-compliant 的 agent 系统框架,用事务化思想来提升长链路智能体的可靠性。方法上,作者将传统 ACID 重新解释为语义原子性、一致性、隔离性和持久性,并据此构建一个数据智能体:它通过事务化的探索-执行-验证循环、事务式技能库、基于置信度分歧的验证、语义依赖感知的隔离以及事务感知的状态管理来保证执行质量。实验部分在常用基准上验证了该框架,相比当前最强智能体系统取得了 10.6% 的提升。结果说明,将数据库事务原则迁移到 agent 执行层能够为可靠、可扩展的智能体系统提供系统化基础。

Papers - 2026-08-19
https://xingjianwang.com/blog/papers-2026-08-19
Author 猫柒-
Published at August 19, 2026