tonemeRESEARCH / FINANCIAL AGENTS
QWEN 3.8 MAX / GPT-6 ASTRABATCH 1 · 2026.10.26

01 / TIME–QUALITY TRADE-OFF

从同题记录看完成度、用时与成本

历史同题记录 · 当前批次 verifier

从最终交付的 180 道金融建模题出发,将可匹配的 Qwen 3.8 Max 执行记录与 Astra 留存答卷逐题对照。

同题质量与耗时

GPT-6 AstraQwenQwen 3.8 Max · xhigh

点击点位查看配对任务。横轴为 log₂(1 + 分钟),点位对应真实终点记录。

EVALUATION PERSPECTIVE

我们建议将得分、有效完成率、作答用时和资源消耗一并作为比较依据。若接近的得分伴随数倍的作答时间,这一效率差异也值得在验收讨论中充分体现。因此,分差小于 10 分本身不足以完整判断题目组的区分度,也不宜脱离时间与成本条件,单独作为“题目组不合格”的依据。具体结论仍以对方在相同 thinking effort、题面与 verifier 等约定条件下的实测为准。

这是时间、质量与成本的联合评价建议,不改变既有验收约定。历史记录的模型配置、题面版本及运行环境存在差异;完整题组结论需另行同条件复测。

SUMMARY / MODEL IMPROVEMENT

本轮观察与可能的改进方向

从具体失分与失败记录出发

现有记录提示,后续优化可优先关注财务关系的稳定传导、预算内收敛,以及提交与恢复流程。以下建议是基于留存证据提出的改进假设,具体收益仍有待同条件复测验证。

01财务关系与数值传导

T03 的 S2E2_441 最终获得 2.50 分;基础结果、组合交易、独立响应与因果分项均为 0,仅控制项得分。该个案表明,部分检查通过后,核心数值传导仍可能未建立。

建议强化多交易组合、独立输入扰动及来源到输出的数值传导训练。复测时除最终总分外,可并列观察各分项改善,以及修复能否在不同场景中稳定复用。

02预算内收敛与交付

T02 的 BIIB、GFS、WFCF、GPK 分别在约 24、48、96、192 分钟后计算超时。它们是不同任务的历史记录,提示长尾执行值得单独优化,不能视为同题反复重试。

查看执行终态 ↗

建议将长程计划拆成可验证的中间交付,设置检查点,并根据实际进展安排剩余预算与重试。重点比较固定预算内的有效完成率、用时分布及 Token 消耗,检验优化是否带来更早的有效提交。

03提交自检与中断恢复

BKTI 的留存答卷存在 #DIV/0!,被判 INVALID;MEDP 的表头不符合接口,重评证据仅 52 / 58 条,终态为 ERROR。另有网络 / 流中断记录,宜与建模失分分别分析。

建议前置检查公开输出接口、关键公式及计算错误,并按失败类型定向修复;对网络中断保留可恢复状态。复测时分别报告答卷有效率、评分执行成功率与恢复开销,以定位模型和执行系统各自的改进空间。

评价上,可将“在约定预算内达到多少完成度”与“延长预算后提升多少完成度、增加多少资源消耗”并列报告。这样既保留得分的解释力,也更便于讨论实际交付效率;精选案例不替代完整题组的独立实测。

02 / BUDGET & COVERAGE

以完整题组的 Astra 用时校准时间预算

每类 30 题 · 等权算术均值
六题型 Astra 平均作答用时与当前 TOML 预算
题型Astra 平均分钟TOML 分钟预算 / 均值匹配题数Qwen attempts

五类题型的预算达到 Astra 均值的两倍以上;T06 为 1.84 倍。当前 TOML 约定面向后续运行,不能追溯替代历史尝试的实际预算。上述倍数是类均值比较,并不表示每一道题都达到两倍。

DEADLINE VIEW

30 分钟内有效完成

5 min320 min

分母为当前题型已匹配题目;同一题使用首条有效 attempt,未有效完成的题保留在分母中。统计最终提交是否在阈值内完成,不推算中途停止时的分数。运行未正常结束但留存答卷有效的记录不计作“有效完成”。

逐题记录与全量配对

题目配对、完成状态与用时

03 / LBO EXECUTION OUTCOMES

长时间运行,仍可能未形成有效交付

Type 02 · 保留每一次匹配记录
任务 / attemptQwen 分钟Astra 分钟用时倍数终止与验证证据

计算超时、网络 / 流中断、答卷无效分别列示。基础设施失败不等价于建模能力失分;无有效评分的记录不作为 0 分纳入均值。已产出文件也不等于通过 verifier。

04 / CASE STUDIES

个案:更长的执行路径与最终交付

05 / EXECUTION TRAJECTORIES

双模型轨迹对照

查看真实作答过程、工具调用与恢复记录。时长沿同一标尺比较,操作序列按记录顺序独立展开。

06 / TOKENS & COST

资源消耗:从用量到成本的可复核假设

随上方所选题目 / attempt 更新
价格假设与统计口径

费用为价目表情景估算,不是套餐账单。Qwen 采用国际区域基础费率:输入 $2、隐式缓存 $0.25、输出 $6 / 百万 tokens;Astra 基础费率为输入 $10、缓存 $1、输出 $50 / 百万 tokens。缓存计入总输入,reasoning 计入总输出,不重复累加。原始记录未统一提供计费区域、折扣和逐请求上下文,因此不宣称实际费用精度,也不推断套餐费用。

Astra 超过 272k 的单请求输入可能触发长上下文费率;累计会话输入不等于单请求输入。本页为基础价情景。中断会话只提供已观测用量,缺失用量不填零;显式缓存写入没有足够统一证据时不另推算。

价格核对日:2026-10-26。来源:Qwen 官方模型价目表 · OpenAI Astra 官方价目表。

07 / METHODS & EVIDENCE

比较方法、来源与解释边界

下载配对 CSV ↓

样本与 thinking effort

最终批次包含六类各 30 题,Astra 每题采用交付包中的一个有效留存槽位。Qwen 展示历史默认 xhigh 队列;配置未显式传入 effort,按官方默认规则解释为 xhigh,并非逐请求服务端回执认证。对方复测应显式设置相同 thinking effort,并固定模型快照、题面、工具、超时与 verifier。

Astra 是历史基线,多数明确记录为 medium,部分没有明确 effort 字段;逐题配置可在轨迹区查看。因此本页不能视为两模型同 effort 的控制实验。Qwen 默认 effort 官方说明 ↗

题目配对与选择规则

以最终批次 case_id / 官方 directory_id 映射,题号相近但变体不同的任务不合并。全量审计涵盖两个档案的全部 attempts,未匹配题和重复内容有单独清单。每题概览采用按时间排序的首条有效结果;若不存在,展示首条失败记录。所有匹配 attempts 均可展开。图表默认显示逐题 Astra − Qwen ≥10 分的差异案例,并提供全部有效配对切换;筛选不改变每题代表 attempt。均分按当前图示题目等权计算,精选样本不能外推为完整题组。

历史题面和最终版部分字节不同,逐题列出核对数与差异文件。输入相同与评分相同是两项独立条件;统一 verifier 无法消除历史输入、配置及执行条件差异。

评分与无效提交

本页以 E:\Qwen_Batch_1 最终交付的评分核心、私有题目参数及冻结答卷为基准。已存在当前版本重评证据且绑定一致者复用;缺失或评分版本不同者对原答卷重新运行。评分耗时不计入模型作答用时,不回传反馈给候选模型。

低分、无效答卷、运行超时、网络错误各自保留。没有有效得分不记作零分。个案和部分配对均值不是完整 30 题同条件 GAP,不能替代验收标准所要求的对方独立实测。

时间、轨迹与资源

Astra 使用原生 task_complete、agent_execution 或交付 execution / attempt 时间。Qwen 使用容器执行收据或执行段 net_seconds 累加;恢复段保留,人工空档不计入已记录执行段。计时精度和边界逐条标明,不能解释成纯推理时延。

原生 JSONL 与转换 trajectory 是同一过程的不同表达,不重复计数。Token 使用每个原生会话最后的累计计数;非成功终止的统计为已观测量。操作分类只辅助定位,不能据其推导各阶段耗时或因果结论。

完整证据、审计清单与复测建议

本地交付保留:源文件 SHA-256 清单、180 题明细、全部 87 条 attempt 映射、逐文件 verifier 比较、题面差异、重评命令与回执、文档提取、网页源代码及桌面 / 移动端验收。原始档案均保持原位。

本页数据:研究数据 JSON · 配对结果 CSV。每条轨迹提供原始来源哈希和可检索事件视图;完整原生字节留在交付档案,不包含于公开站点。

建议复测:同一套最终题面与 verifier;显式记录 thinking effort;统一工具环境与作答预算;按预注册规则保留全部 attempts;同步报告有效完成率、得分、时间分布及用量。若额外增加时间预算,应并列报告原约定预算与扩展预算的结果。

验收背景:用户提供的《金融建模类任务 POC 交付需求与标准 6×30 第一批次》;页面配色与品牌参照 Toneme 官网;图表呈现参考 Vals FAB v2,轨迹结构继承 Seed Evolving 研究页。文档内容用于理解测评要求,不被当作额外操作授权。