做过多智能体项目的同学大概率都经历过一个非常扎心的时刻训练好的 agent 跑了一整晚第二天评估它的时候又要跑一整晚。如果恰好是不完美信息博弈场景——比如德州扑克、麻将、桥牌、星际争霸这类环境——评估成本还会被方差放大到一个离谱的程度。你很难判断最终结果到底是策略真的变强了还是这一批对局运气太好了。这正是 AV-AIVAT 这篇工作想解决的核心问题。它把智能体评估成本做到了大约 74 倍的压缩并给停止决策提供了严格可验证的统计保证Certified Anytime-Valid Stopping。本文会从问题背景、方差削减原理、随时有效检验的数学基础到核心算法伪代码和工程落地细节做一个完整拆解。无论你是做强化学习、博弈 AI还是正在搭建 Agent 评测平台这篇文章的思路都值得参考。1. 问题背景为什么 Agent 评估又贵又慢得离谱1.1 智能体评估到底在评估什么任何智能体项目最终绕不开一个问题这个 agent 行不行训练指标再漂亮也不能替代在真实或者接近真实环境中的评估。评估的常见指标包括胜率或者期望回报。特定场景下的鲁棒性。与不同对手博弈时的表现稳定性。在资源受限条件下的决策质量。评估结果不只是给研发团队看的它还会决定模型是否上线、是否需要回炉重训、版本之间能否对比。所以评估的置信度非常重要。如果置信区间太宽你根本无法判断 v2 的胜率 51% 和 v1 的胜率 50.8% 到底谁更优。问题在于博弈类环境的不确定性远高于传统监督学习任务。每一个对局都是一个高方差样本尤其是带有随机性和隐藏信息的博弈单局结果的波动可以非常大。1.2 不完美信息博弈为什么特别难评估不完美信息博弈Imperfect-Information Games最简单的理解是玩家在决策时并不能知道游戏的全部状态。以德州扑克为例你不知道对手底牌是什么甚至不知道下一张公共牌是什么。你只能基于公共信息、自身私有信息和对手行为的“信息集”来做决策。这种环境带来的评估难点非常直接第一运气成分占比高。水平再高的策略面对一手烂牌也可能输给随机乱打的对手。单局结果中策略质量的信号被严重稀释。第二对手策略不稳定。评估时遇到的对手不一定是同一策略同一个人在不同状态下的行为也有波动。对手策略的变化会直接影响被评估 agent 的收益。第三信息集空间巨大。不完美信息博弈中我们需要考虑的信息集数量往往比状态数量还要大。这导致计算纳什均衡解、反事实遗憾值、期望收益等指标的成本非常高。换言之在扑克这类环境中评估一个 agent本质上是在高噪声信号里提取出“策略真实水平”这个微弱的信息。噪声越大需要的样本量就越大评估成本自然水涨船高。1.3 方差、样本量与成本三者的关系如果用熟悉的估计公式来看假设我们想估计 agent 的期望收益 (\mu)用蒙特卡洛采样得到 n 局样本的均值置信区间的宽度和标准差成正比、与样本量的平方根成反比[ \text{CI 半宽} \approx z \cdot \frac{\sigma}{\sqrt{n}} ]这里 (\sigma) 是单局收益的标准差。想让置信区间收紧一半理论上需要把样本量提高到原来的 4 倍。如果单局方差本身就很大评估一个新策略经常需要几十万甚至上百万局对局。每一局对局都是有成本的计算资源、时间、多 agent 交互的延迟。当评估次数到达百万级别时一次评估可能就吃掉你大半天的时间。更麻烦的是在算法迭代过程中你需要做大量的 A/B 对比成本会成倍累积。所以解决路径只有两条降低单局样本的方差让每一局提供的信息更多。引入动态停止机制在证据足够时立刻停止而不是死板地跑满预设局数。AV-AIVAT 恰好把这两条路合到了一起。2. 从 AIVAT 到 AV-AIVAT一条方差削减的升级路线2.1 减少方差的基本思想控制变量法要说 AIVAT得先从方差削减技术中最直观的一种讲起——控制变量法Control Variates。假设你要估计某个随机变量 (Z) 的期望比如 agent 在一局游戏中的收益。直接采样 (Z_1, Z_2, ..., Z_n) 求平均当然可行但方差可能很大。控制变量法的做法是找一个与 (Z) 强相关、且期望已知或可计算的变量 (C)然后构造一个新的估计量[ Z Z - \beta (C - E[C]) ]因为 (E[C - E[C]] 0)所以 (Z) 的期望仍然等于 (E[Z])估计无偏。但方差变成了[ \text{Var}(Z) \text{Var}(Z) \beta^2 \text{Var}(C) - 2\beta \text{Cov}(Z, C) ]只要 (C) 与 (Z) 的相关性足够强(Z) 的方差就能远小于 (Z)。控制变量法在金融计算、粒子输运、强化学习等领域都应用广泛。关键问题是在博弈评估中什么样的控制变量既容易计算又与结果强相关2.2 AIVAT与信息集对齐的方差削减AIVAT 的英文全称是 Action-Informed Value Assessment Tool翻译过来是“动作信息辅助的价值评估工具”。它专为不完美信息博弈设计核心思想并不复杂当我们拿到一条完整对局轨迹时我们知道了所有历史信息包括每个决策点本来可以选择的动作。于是我们可以用这些信息构造一个“基线函数” (b(I, a))它表示在信息集 (I) 采取动作 (a) 的某个基准价值。假设一个决策节点上 agent 选择了动作 (a_i)AIVAT 对单局回报的修正形式大致如下[ Z_{\text{AIVAT}} Z - \sum_{i1}^{m} \left[ b(I_i, a_i) - \sum_{a \in A} \pi_i(a \mid I_i) \cdot b(I_i, a) \right] ]其中(Z) 是原始轨迹收益。(m) 是 agent 在这局中做决策的次数。(I_i) 是第 i 个决策点的信息集。(a_i) 是实际执行的动作。(\pi_i(a \mid I_i)) 是 agent 策略在信息集 (I_i) 下选择动作 (a) 的概率。(b(I_i, a)) 是基线函数在动作 (a) 上的取值。这个修正项的期望为零因此无偏。但它能削减方差的原因在于如果基线函数 (b) 能逼近“在当前信息集下采取某个动作的真实期望价值”那么 (Z_{\text{AIVAT}}) 中由局部决策带来的运气波动就被剥离掉了一部分。AIVAT 的关键优势是它利用了“信息集”的结构而不是简单地拿全局平均值做控制变量。在不完美信息博弈中不同信息集的期望差异很大对齐信息集之后控制变量与真实回报的相关性才足够高。当然基线函数通常依赖反事实价值网络或者近似估计器。用得越好方差削减效果越强。基线函数的精度直接决定了 AIVAT 的上限。2.3 AV-AIVAT 的“AV”到底新增了什么AIVAT 解决的是方差问题但评估流程本身仍然是“跑满 n 局再总结”。AV-AIVAT 加上的部分就是 Anytime-Valid随时有效。传统做法是在收集完固定数量样本之后构造置信区间或者做假设检验。如果你在数据收集过程中偷偷看一眼中间结果一旦看到胜率超过 50% 就提前停止那么最终结论的错误率会比名义水平高很多。这本质上是统计学中的多重比较问题。AV-AIVAT 引入了随时有效停止规则。评估程序可以在任意时间点决定“我现在有足够证据了停止吧”并且这个决定不破坏统计保证。具体来说它借助了 E-Process 和 Ville 不等式这部分我们在下一节详细展开。所以完整的 AV-AIVAT 流程可以理解为用 AIVAT 修正每个对局样本降低单局方差。用一个随时有效的统计检验去监控累积证据。一旦 E-Process 越过阈值立刻停止评估并输出结论。两件事叠加在一起评估成本会显著下降而且统计学上的“可靠性认证”依然保留。3. 随时有效检验抽卡式评估的统计基础3.1 为什么不能随时“偷看”结果假设你采用传统 t 检验计划用 10000 局数据判断 A 是否优于 B显著水平 α0.05。如果老老实实等 10000 局跑完再分析错误率是受控的。但实际开发中非常常见的操作是上午跑了 2000 局先看一眼下午跑到 5000 局再确认一眼7000 局的时候感觉“差不多了”于是提前出结论。问题来了。你其实已经偷偷执行了 3~4 次假设检验。即使 A 和 B 真实水平相当你每次检验都有 5% 的概率出现“假阳性”。多次偷看之后至少有一次出现显著结果的概率会远高于 5%。这种为了看到显著结果而不断观测数据的行为在统计上被称为 p-hacking或者 data peeking。在没有额外修正的情况下“边跑边看”是危险的它会破坏整个统计推断的可靠性。3.2 E-Value 与 E-Process随时随地诚实“偷看”Anytime-Valid 框架给出的解决方案是不要再用 p-value 作为决策依据改用 E-Value。E-Value证据值是一个非负随机变量它在零假设下满足[ E[E] \le 1 ]这个定义看起来简单但非常强大。直观地说E-Value 可以理解为“数据支持备择假设对比零假设的证据强度”。当数据真的支持备择假设时E-Value 会逐渐增大当数据支持零假设时E-Value 通常会保持平稳或下降。把 E-Value 随时间连接起来就得到 E-Process。它是随着样本不断更新的 E-Value 序列满足“任意停止时间下期望仍在 1 以内”的性质。用一个简单的抛硬币例子来说明更好理解。假设我们要检验一枚硬币是否偏向正面零假设是 (p0.5)备择假设是 (p0.6)。每观测一次抛硬币结果我们可以这样更新证据看到正面E 乘以 (0.6 / 0.5 1.2)。看到反面E 乘以 (0.4 / 0.5 0.8)。如果零假设成立硬币真的是公平的那么正反面概率各 0.5E 的期望每次变化是[ 0.5 \times 1.2 0.5 \times 0.8 1.0 ]所以整个过程 E 的期望始终保持在 1。但如果硬币真的偏向正面那么每局有 60% 概率乘以 1.2E 会以很高概率持续增长直到越过阈值。这就是 E-Process 的典型构造方式利用似然比作为 E-Value。它允许你随时“偷看”数据因为 E-Value 在任何停止时间下的统计性质都受到控制。3.3 Ville 不等式与 Certified 停止随时有效检验背后的核心数学工具是 Ville 不等式。它与 Markov 不等式相关但专门针对非负鞅序列。如果用一句话解释 Ville 不等式在一个非负鞅 (M_t) 中若 (M_0 1)则对于任意阈值 (\alpha 0)[ P\left( \sup_{t \ge 0} M_t \ge \frac{1}{\alpha} \right) \le \alpha ]对应到我们的场景就是如果零假设成立E-Process 在某一个时间点超过 (1/\alpha) 的概率不超过 (\alpha)。因此你可以设定阈值 (1/\alpha)比如 (\alpha 0.05) 时阈值为 20然后在任意时间点检查 E 是否达到阈值。一旦达到就拒绝零假设且长期错误率被严格控制在 (\alpha) 以内。这就是标题中 Certified认证/有保证的含义。这种保证不依赖你什么时候停止也不依赖你中间看了多少次数据。它适用于固定预算评估。在线实时评估。早期停止。多阶段决策。相比传统置信区间Anytime-Valid 框架带来的是一种“置信序列”Confidence Sequence。置信序列和置信区间不同它可以在任意时间点读取并且保证覆盖率在所有时间点上同时成立。维度固定样本量检验随时有效检验样本量预先固定不固定边跑边决定中途查看会破坏错误率保证允许任意次数查看停止规则跑完预设样本再分析证据足够即停典型应用离线批量实验在线评估、模型筛选代表数学工具t 检验、z 检验E-Value、E-Process4. 核心方法与实现思路4.1 整体评估流程下面我们把思路转成工程实现。AV-AIVAT 的完整评估流程可以拆成几个模块对局采样模块让被评估 agent 在博弈环境中完成若干局对局。单局回报修正模块用 AIVAT 基线函数对每局原始回报做无偏修正。证据累积模块将修正后的回报差异喂给 E-Process。停止判断模块检查 E-Value 是否超过阈值超过则停止。报告模块输出最终结论、样本量、置信信息。这种模块划分有一个好处每一部分都可以独立替换。比如 AIVAT 基线函数可以换成更复杂的神经网络估值器E-Process 构造也可以换成更贴合业务场景的似然比形式。先来看一个简单的项目目录示例aviv_demo/ ├── agent_evaluator.py # 主评估循环 ├── aivat.py # AIVAT 单局回报修正 ├── stopping.py # Anytime-Valid 停止规则 ├── game_env.py # 博弈环境抽象接口 └── baseline_model.py # 基线函数4.2 AIVAT 单局回报修正先用 Python 伪代码演示 AIVAT 修正的核心逻辑。这个函数接受一条完整轨迹、agent 策略和一个基线函数返回修正后的回报。# 文件路径: aviv_demo/aivat.py import numpy as np def aivat_adjusted_return(trajectory, policy, baseline_fn): 对单局轨迹做 AIVAT 方差削减修正。 参数 ------ trajectory: 轨迹对象包含决策节点列表与终端收益 policy: agent 策略提供每个信息集下的动作概率 baseline_fn: 基线函数输入 (info_set, action)返回标量 返回 ------ adjusted_return: float修正后的回报 Z trajectory.total_reward correction 0.0 for node in trajectory.agent_decision_nodes: info_set node.info_set action node.action_taken # 基线函数在“已执行动作”上的取值 b_action baseline_fn(info_set, action) # 当前策略下所有合法动作的期望基线 b_pi 0.0 for a in node.legal_actions: prob policy.action_prob(info_set, a) b_pi prob * baseline_fn(info_set, a) # 累计局部修正项 correction b_action - b_pi return Z - correction这里的核心是构造 correction 项。如果你仔细分析会发现 correction 的期望确实是 0在每个决策点上策略以概率 (\pi(a|I)) 选择动作因此 (E[b(I,a)] b_\pi)。关键在于修正项与轨迹收益的相关性够不够强。理想情况下如果基线函数能准确估计出“在当前信息集下采用某个动作的期望收益”那么原始收益中与局部运气相关的部分就会大幅缩减剩下的噪声会更小。4.3 AnyTime-Valid Stopping 规则接下来是 Anytime-Valid Stopping 的示例实现。这里需要强调一点严格的 E-Process 构造需要满足非负鞅条件下面的代码是一个简化的教学版本假设观测值方差已知并使用正态似然比。实际论文中会考虑方差未知、重尾分布等更复杂的情况。# 文件路径: aviv_demo/stopping.py import math class AnyTimeValidStopping: 基于 E-Process 的随时有效停止规则。 零假设 H0: 两个 agent 期望回报差值为 0。 备择假设 H1: 期望回报差值为 alternative_effect。 当 E-Value 超过 1/alpha 时可以停止并宣称差异显著。 def __init__(self, alpha0.05, alternative_effect0.01, var1.0): self.alpha alpha self.alternative_effect alternative_effect self.var var self.threshold 1.0 / alpha self.e_value 1.0 self.n 0 def update(self, diff): 更新 E-Value。 参数 ------ diff: 这一局 AIVAT 修正后的回报差值 (A - B) 返回 ------ can_stop: bool是否应该停止评估 self.n 1 delta self.alternative_effect # 正态分布假设下的对数似然比更新 log_lr (delta * diff - 0.5 * delta * delta) / self.var self.e_value * math.exp(log_lr) return self.e_value self.threshold def can_stop(self): return self.e_value self.threshold注意这里的 var 是“已知方差”的简化形式。实际使用中你可以在跑数据时用在线方差估计器替代或者选择不依赖方差假设的 E-Value 构造比如基于 t 统计量的 E-Process。4.4 主评估循环与对称化处理主循环要解决几个工程问题第一样本配对。每次让 agent A 和 agent B 在相同或接近相同的条件下对局这样可以进一步削减环境随机性带来的方差。第二先后手平衡。不完美信息博弈中位置不同会影响收益期望。较好的做法是采用镜像对局同一局配置下先让 A 作为玩家 1 对战 B再交换座位让 B 作为玩家 1 对战 A取两者差值均值。第三持续监控 E-Value。每一批对局结束后检查是否满足停止条件但这里的检查不会破坏统计有效性。# 文件路径: aviv_demo/agent_evaluator.py from aivat import aivat_adjusted_return from stopping import AnyTimeValidStopping def run_av_aivat_evaluation(env, agent_a, agent_b, baseline_fn, alpha0.05, max_rounds10000): 完整评估流程AIVAT 修正 随时有效停止。 stopper AnyTimeValidStopping(alphaalpha) results [] for round_idx in range(max_rounds): # 对局 1: A 先手 traj_a1 env.play_episode(agent_a, seat0) traj_b1 env.play_episode(agent_b, seat1) # 对局 2: 交换先后手 traj_a2 env.play_episode(agent_a, seat1) traj_b2 env.play_episode(agent_b, seat0) # 用 AIVAT 修正每局回报 diff_1 (aivat_adjusted_return(traj_a1, agent_a, baseline_fn) - aivat_adjusted_return(traj_b1, agent_b, baseline_fn)) diff_2 (aivat_adjusted_return(traj_a2, agent_a, baseline_fn) - aivat_adjusted_return(traj_b2, agent_b, baseline_fn)) # 对称化差值 diff 0.5 * (diff_1 diff_2) results.append(diff) # 更新 E-Process 并判断是否停止 if stopper.update(diff): print(f第 {round_idx 1} 轮后停止评估) break mean_diff sum(results) / len(results) print(f平均回报差值: {mean_diff:.4f}) print(f最终 E-Value: {stopper.e_value:.3f}) print(f是否宣称显著: {stopper.can_stop()}) return mean_diff, stopper4.5 运行与验证上述代码只是一个教学演示不能直接跑在真实环境下因为 game_env 需要你根据自己的博弈环境实现接口。如果使用开源框架比如 OpenSpiel 或者 PokerRL可以把env.play_episode替换为对应框架的 API。运行这个流程后预期输出大致如下第 320 轮后停止评估 平均回报差值: 0.0234 最终 E-Value: 21.152 是否宣称显著: True这里的关键信息是我们原本可能计划跑 3000 轮但实际上 320 轮就达到了足够证据。配合 AIVAT 方差削减同样的显著性水平下所需轮数大幅下降这就是 74x 成本压缩的直接来源。5. 效果解读74x 成本压缩从哪里来5.1 方差削减和提前停止的乘法效应很多人看到“74x cheaper”会好奇那么多成本是怎么省出来的。答案不是单一技术的结果而是两块收益叠乘。假设原始蒙特卡洛评估需要 10000 局才能把置信区间收窄到可接受范围。加入 AIVAT 后单局方差下降可能只需要 1500 局就能达到同样的置信宽度这是一笔约 6.7 倍的样本量节省。再加入随时有效停止又不一定每次都需要跑满那 1500 局。绝大多数情况下数据会提前给出足够强的信号平均停止轮数可能进一步下降到原来的 40%~60%。两个因素叠加整体成本不是相加而是相乘于是出现 74 倍数量级的整体下降。需要强调74x 是一个特定实验环境下的结论。不同博弈环境、不同基线函数精度、不同显著性水平下实际收益会有差异。但方向是一致的先降方差解决“单局信息量太低”的问题再动态停止解决“无效加班跑样本”的问题两条腿都跑起来评估效率才有量级提升。5.2 成本下降不等于准确性下降有人会本能地担心评估局数少了结论是不是就不靠谱了这里要澄清一个点成本下降的前提是保持同样的统计保证。随时有效停止不是随便找机会提前停它用 (1/\alpha) 阈值保证了长期错误率上限。也就是说在停止时间不确定的情况下错误率仍然受控。它跟“感觉差不多就停”有本质区别。AIVAT 部分虽然改变了样本的表达式但期望不变所以估计量依然无偏。结论的准确性没有降低降低的是噪声和无效样本。5.3 什么场景收益最大从方法本身来看以下场景收益最大单局方差极高的博弈环境例如大规模德州扑克、复杂战争推演。需要频繁做模型版本对比的算法迭代流程。在线评估场景希望在尽可能少的时间内输出结论。评估资源受限比如需要调用昂贵的外部模拟器。反过来如果环境本身是确定性环境单局几乎没有方差那么 AIVAT 的削减空间比较有限随时停止带来的收益也更多来自提前停止规则的设计。6. 常见理解误区和实现陷阱6.1 误区置信区间可以随意连续“看”这个误区在工程中非常普遍。很多同学实现评估脚本时习惯每跑完一个 batch 就计算一次置信区间看到显著就提前退出。这在传统置信区间框架下是错的因为多次使用数据会让错误率膨胀。解决办法是使用置信序列而非置信区间。如果项目不想引入 E-Value 体系也可以用 Bonferroni 校正或者 alpha-spending 函数但它们通常更保守且不如 E-Process 灵活。所以强烈建议直接切换到 Anytime-Valid 框架。6.2 陷阱基线函数与评估策略耦合AIVAT 的修正项本身无偏这个性质不依赖基线函数是否准确。但如果基线函数和 agent 策略高度耦合比如基线函数就来自这个 agent 自己的估值网络那么修正效果可能虚高。实操中要注意基线函数最好来自独立的估值模型或者来自一个固定版本的历史策略不要使用当前正在评估的 agent 自身输出。否则会出现相关性泄漏让 AIVAT 修正项“偷看”到和策略质量相关的信息最终估计虽然数学上无偏但实验对比会被污染。6.3 陷阱对称性处理不完整不完美信息博弈中先后手位置对期望收益影响很大。如果评估时总是让 A 先手、B 后手那么你测到的差异会混入位置效应。规范做法是进行座位交换同一局对所有配置都做两次然后取平均差值。这样位置效应会在期望上抵消。6.4 常见问题排查表问题现象常见原因解决思路E-Value 长期不增长基线函数精度太低修正后方差未明显下降提升基线函数质量检查修正项是否生效停止太早但结论反复横跳alpha 设置过大或者 E-Process 构造不严格降低 alpha检查 E-Value 是否满足非负鞅条件结果仍偏高 / 结论不稳定对局未做镜像对称增加座位交换使用平均差值置信序列与置信区间结果不一致两者统计度量不同统一使用置信序列做在线监控评估速度没有明显提升方差削减收益被环境复杂度抵消单独测试 AIVAT 和随时停止两个模块的收益7. 工程实践与落地建议7.1 评估管线设计建议在真实项目中不要一开始就追求把 AIVAT 和 Anytime-Valid 全部一次接入。建议分三步走第一步搭建基础的评估管线统计当前单局方差、平均收益和固定样本量置信区间。第二步接入 AIVAT 方差削减先测试单局方差是否下降计算相同置信度下的样本量变化。这一步的收益可以通过“方差削减比”量化。第三步接入 Anytime-Valid 停止规则让评估程序具备在线停止能力。建议保留一个“最低评估轮数”参数避免数据量过少时偶然越过阈值。每一步都单独验证效果出了问题也容易定位。7.2 报告指标应包含哪些一篇好的评估报告不应只丢一个最终结论。建议至少包含经过 AIVAT 修正后的平均回报差。原始未修正回报差便于对照。实际停止轮数和预设最大轮数。E-Value 最终值和阈值。置信序列的当前区间如果可计算。基线函数的信息比如版本号、训练轮数。对局配置包括座位交换次数、对手策略、环境随机种子。这些信息可以帮助后续复现和排查问题。7.3 从论文到产品化的最小改造路径如果你的目标是在自己的 agent 评估系统里复刻 AV-AIVAT不需要从零实现完整论文。最小可用版本可以分为以下模块一个能够记录轨迹和决策节点信息的环境封装。一个基线函数可以是简单规则比如基于历史统计的平均值。一个 AIVAT 修正函数。一个 E-Process 停止器。先把这套跑通再逐步迭代基线函数的复杂度。对很多实际项目来说基于统计平均值的基线函数已经能带来可观的方差削减。复杂的神经网络估值器当然效果更好但也带来更多调试成本。如果要做 Agent Evaluation 的对比实验建议用统一的评估协议固定对手策略、固定随机种子、固定置信水平、统一座位交换次数。这样所有版本模型之间才具备可比性。7.4 日志与可维护性在线评估系统要注意记录每次停止决策的历史。Anytime-Valid 框架允许你做持续监控但如果监控到一半发现 E-Process 有问题比如下方修正项没有正确更新那么之前累积的数据全部无效。因此建议将 E-Value 更新逻辑做成纯函数方便单元测试。使用版本化配置管理 alpha、替代效应大小、方差估计方式。每次评估记录配置快照便于回溯。8. 总结与进一步学习方向这篇文章从“为什么 Agent 评估又贵又慢”这个问题出发逐步拆解了 AV-AIVAT 的核心机制AIVAT 通过信息集对齐的控制变量法降低单局方差Anytime-Valid Stopping 通过 E-Process 和 Ville 不等式让评估程序可以在任何时间停止而不破坏统计保证。两者叠加就是标题中 74 倍成本压缩的由来。如果你正在搭建自己的 Agent 评估系统我的建议是先把方差削减做起来再考虑随时停止。这两个能力可以拆分上线每一步都会显著减少评估账单。进一步研究可以从这几个方向展开深入读一下关于 AIVAT 的原始论文理解基线函数选择与信息集结构的关系。研究 Anytime-Valid Confidence Sequence 的最新进展特别是方差未知场景下的 E-Process 构造。尝试在 OpenSpiel 或者自己的博弈环境中实现一套最小可行版本的 AV-AIVAT跑通后再替换更高级的基线函数。如果你关注大规模语言模型 Agent 评估这套思想同样适用因为行为采样方差大、评估成本高的问题本质上是相通的。评估不是跑完就算而应该是一个有统计保证、可随时停止、可复现的工程系统。AV-AIVAT 给我最重要的启发是与其花更多算力去跑更多局不如先让每一局的信息价值更高。这个思路放到任何高成本评估场景里都值得借鉴。