强化学习走向规；；
；，，，效率成为要害变量

当预训练将大模子带到新的能力起点，，，，强化学习则通过一连的探索与反馈！。。。，，，一直引发模子在新情形、新使命中的推理与行动能力，，，，决议它们还能走多远。。。。。

RL 在模子开发中占的比重越大，，，，训练效率对算力预算的影响也越直接。。。。。

算一笔示意账：假设 1 万张 GPU 一连运行 30 天，，，，按每卡每小时 3 美元盘算，，，，总用度是 2,160 万美元。。。。。若是使用同样的卡数、抵达同样的模子效果，，，，但将训练时间缩短 10%，，，，就能少使用 72 万 GPU 小时，，，，按上述假设节约约 216 万美元。。。。。对租用集群的团队，，，，这是直接镌汰的账单；；
；对自建集群的团队，，，，则意味着能更早把这些算力交给下一轮实验。。。。。

这些效率收益可以从那里找？？？？？一个最基础、也险些所有训练配方都无法绕开的参数，，，，就是Batch Size。。。。。

在现实训练中，，，，Batch Size 经常泛起在两类决议中：

Batch Size Tuning：让配方适配新条件。。。。。 模子变大了，，，，或 GPU 卡型变了，，，，原来的 Batch 和学习率纷歧定还合适。。。。。Batch 太小可能让硬件使用不充分，，，，与之不匹配的学习率则可能让学习变慢甚至不稳固。。。。。这时需要找到一组能稳固学习、又能高效使用目今硬件的 Batch 与配套超参数。。。。。Batch Size Scaling：把并行度酿成更短的训练时间。。。。。 若是统一个模子获得了更多 GPU，，，，Batch 能否同步扩大，，，，让模子更早达标？？？？？纵然 GPU 数目稳固，，，，若是天生并发较低、装备还没有充分事情，，，，能否通过更大 Batch 使用这部分闲置能力？？？？？

两类决议最终都指向统一个现实问题：怎样找到最优的 Batch Size，，，，使模子以最短的 wall-clock time 抵达预期性能？？？？？

更大的 Batch，，，，既可能是加速器，，，，也可能成为减速带。。。。。腾讯混元团队在实验中视察到：适度增大 Batch，，，，并同程序整学习率，，，，可以在坚持学习效率的同时提高吞吐；；
；但 Batch 过大时，，，，特殊样本价钱会反过来压过吞吐收益。。。。。图 1 把这种反差画成爬山：有的蹊径能更快抵达统一性能「山顶」，，，，有的看似步子更大，，，，登顶反而更慢。。。。。

图 1｜把训练比作爬山：山顶代表抵达统一目的性能，，，，四条蹊径代表差别的 Batch Size，，，，每个路标代表一次优化更新。。。。。配套调解学习率后，，，，B、2B 和 4B 在累计样本维度上坚持近似相同的学习进度；；
；其中更大的 Batch 因吞吐更高而更快「登顶」。。。。。但扩大到 16B 后，，，，样本效率损失凌驾吞吐收益，，，，登顶反而比 B 更慢。。。。。图例给出了归一化 time-to-target。。。。。

这种从加速到减速的转折，，，，背后遵照怎样的科学纪律？？？？？能否建设一套可丈量的准则，，，，找到 time-to-target 最短的 Batch Size？？？？？

为回覆这个问题，，，，腾讯混元团队将 Batch Size 放回训练动力学与硬件执行的配合约束中，，，，从第一性原理出发，，，，重新审阅大模子强化学习的规；；
；吐伞！。。。

问题：《When Do Larger Batches Help Scale LLM Reinforcement Learning?》机构：Tencent Hy Team（腾讯混元团队）论文链接：arXiv:2608.29296

从经典 Batch Scaling 到 LLM 强化学习

「Batch 可以有用扩大到什么水平」，，，，并不是一个新问题。。。。。

2017 年，，，，大 Batch 的价值首先以工程突破的方式进入人们的视野。。。。。Facebook 的 Priya Goyal、Yangqing Jia 和 Kaiming He 等人在《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》中，，，，通过线性放大学习率和 gradual warmup，，，，将 ResNet-50 在 ImageNet 上的训练从 8 张 GPU、Batch 256 时约 29 小时，，，，扩展到 256 张 GPU、Batch 8192 时 1 小时，，，，同时坚持了小 Batch 的精度。。。。。

这项事情说明，，，，经由配套优化，，，，更大的 Batch 确实可以把更多硬件并行转化为更短的 wall-clock time；；
；也由此把问题从「大 Batch 能否训练」推向了「大 Batch 事实能有用扩大到什么水平」。。。。。

2018 年，，，，OpenAI 的 Sam McCandlish、Jared Kaplan、Dario Amodei（现任 Anthropic CEO）在《An Empirical Model of Large-Batch Training》中，，，，研究了扩大 Batch 的收益何时最先递减，，，，并将这个转折与梯度噪声标准联系起来。。。。。随后，，，，Google Brain 的 Christopher J. Shallue 和 George E. Dahl 等人进一步指出，，，，数据并行带来的有用收益依赖于详细使命，，，，并且公正较量差别 Batch 需要划分调解超参数。。。。。

与此亲近相关的另一个问题是Batch Size Invariance：改变 Batch 后，，，，若是配套调解学习率等超参数，，，，模子在消耗相同数目的样本时，，，，能否坚持近似的学习轨迹？？？？？2022 年，，，，OpenAI 的 Jacob Hilton、Karl Cobbe 和 John Schulman 对战略优化中的这一问题举行了系统研究。。。。。

那么，，，，LLM 强化学习的特殊之处在那里？？？？？

在监视学习中，，，，训练样本通常已经存放在牢靠数据集中。。。。。取出一个更大的 Batch 后，，，，主要新增本钱爆发在模子的前向撒播、反向撒播和参数更新；；
；样本自己不需要由正在训练的模子现场生产。。。。。因此，，，，经典 Batch Scaling 主要讨论的是：更大的 Batch 怎样改变梯度预计、更新次数和训练并行度。。。。。

LLM 强化学习则多了一个要害闭环。。。。。作为 Agent 的 Transformer 必需先用目今战略举行自回归天生，，，，或与情形一连交互，，，，获得回覆、轨迹和奖励；；
；这些在线爆发的数据随后才进入学习阶段，，，，用于前向撒播、反向撒播和参数更新。。。。。更新后的 Transformer 又继续天生下一批数据。。。。。

换言之，，，，模子既是生产训练数据的推理系统，，，，也是消耗这些数据的学习系统。。。。。

图 2｜LLM 强化学习的两个主要盘算环节都依赖 GPU：Sampling 通过自回归推剃头生回覆和轨迹，，，，Training 再用这些数据更新模子。。。。。毗连两侧与 GPU 的「通道」由 Batch Size 塑造：它既影响采样侧的并发规模，，，，也影响训练侧每次更新处理的数据量。。。。。

从系统架构看，，，，虽然两个历程运行的是统一个 Transformer，，，，它们对 GPU 的使用方式却差别。。。。。天生是逐 token 的自回归推理，，，，需要重复读取模子权重、维护 KV Cache 并调理并发序列；；
；学习则在整批 token 上执行前向和反向撒播，，，，还要生涯激活、盘算梯度并更新优化器状态。。。。。

因此，，，，扩大 Batch 不是只给统一种盘算多塞一些数据：它既可能通过更高并发提高天生效率，，，，也会增添训练侧的盘算和显存开销。。。。。学习曲线无法单独回覆训练会快几多，，，，天生吞吐也无法单独回覆模子还需要几多样本。。。。。

两种效率，，，，一个剖析框架

对大模子训练来说，，，，最终目的不是把 Batch 开到最大，，，，也不是让某个局部阶段跑到最快，，，，而是让模子尽早抵达要求的能力水平。。。。。论文用Time-to-target权衡这个目的：从训练最先，，，，到模子首次抵达预设验证目的，，，，真实经由了几多时间。。。。。

达标速率由两种效率配合决议：

样本效率（sample efficiency）：每条训练回覆带来几多学习希望。。。。。Batch Size 及其配套超参数，，，，会改变牢靠样本预算下的学习效果。。。。。系统效率（system efficiency）：整条训练流水线每秒天生并处理几多训练回覆，，，，包括天生、模子更新以及期待和同步的本钱。。。。。

设 J 体现验证体现，，，，N 体现累计训练回覆数，，，，t 体现真实时间。。。。。沿着一条平滑近似的学习轨迹，，，，有：

这个关系提供了两个视角：

Takeaway：

Batch Size 同时影响每条回覆带来的学习希望，，，，以及系统处理这些回覆的端到端吞吐。。。。。只有当吞吐收益凌驾达标样本数的增幅时，，，，更大 Batch 才会缩短训练时间。。。。。一条更简朴的实践路径是：先建设近似 Batch Size Invariance，，，，再在这个规模内优化吞吐。。。。。

第一步：先保住每条样本的学习效果

Batch Size Invariance 有一个很直接的寄义：若是 Batch 扩大一倍，，，，模子抵达相同效果所需的优化器更新次数应大致减半，，，，因而总样本需求基本稳固。。。。。

换句话说，，，，在为差别 Batch 划分调勤学习率等配套超参数后，，，，一个合理且切合 Scaling 直觉的公正较量应知足：更多样本带来更好的性能，，，，而累计消耗相同数目的样本时，，，，差别 Batch 应抵达近似相同的性能。。。。。

但这不会自动爆发：更大 Batch 用更多回覆平均梯度，，，，却也让模子在牢靠样本预算内失去了一部分更新时机。。。。。要坚持每样本学习效果，，，，必需重新调理每次更新能走多远。。。。。

对 Adam 优化器，，，，团队用平方根规则作为学习率调解的起点：

这个规则只是调参起点，，，，需要用实验验证。。。。。论文只改变学习率，，，，坚持其他优化器超参数稳固；；
；联合调解更多超参数，，，，可能进一步提高稳固性，，，，但这留待后续研究。。。。。

为让这一较量尽可能清洁，，，，论文在自研训练系统上评估 GRPO 和 PPO。。。。。两类实验都对每个 rollout batch 只做一次全局优化器更新，，，，不拆 minibatch，，，，也不重复使用 rollout，，，，从而阻止引入 minibatch size 和优化 epoch 等特殊调参维度。。。。。

发明一：GRPO 在 16 倍 prompt batch 规模内近似稳固

图 3｜在牢靠 group size 下，，，，调解学习率后，，，，GRPO 在一段有界规模内泛起近似对齐的学习曲线。。。。。最大的几组 Batch 最先偏离，，，，actor 梯度范数的下降也逐渐趋缓。。。。；；
；疑 ±1 个百分点区间只是视觉参考，，，，不是置信区间。。。。。图源：论文 Figure 2。。。。。

发明二：PPO 中 actor 和 critic 的标准差别

图 4｜PPO 的 Batch Scaling。。。。。左图为验证体现与累计训练回覆数的关系；；
；右图为 actor 和 critic 梯度范数随 Batch 的转变。。。。。样本轴扫除了起始 30 步只训练 critic 的 warm-up，，，，并从 actor 最先训练时计数。。。。。图源：论文 Figure 5。。。。。

右图则显示了 actor 和 critic 的差别。。。。。随着 Batch 增大，，，，actor 梯度范数一连下降，，，，在最大 Batch 处趋于平缓；；
；critic 梯度范数则相对平展，，，，波动也更大。。。。。由于两者的训练目的差别，，，，它们可能拥有差别的有用 Batch 标准，，，，未来可以思量划分剖析和调优。。。。。

发明三：GRPO 的 Batch 更应看总回覆数

GRPO 中，，，，扩大 Batch 有两个偏向：增添 prompt 数，，，，或者增添每个 prompt 的回覆数。。。。。更大的回覆 Batch 可以通过平均更多样本降低梯度预计的方差，，，，但这两条路并不完全等价：统一 group 内的回覆共享 prompt，，，，并通过组内相对奖励结构 advantage。。。。。

图 5｜GRPO 的 group-size 比照。。。。。左图是验证体现与累计训练回覆数的关系；；
；右图是统一训练窗口内的 actor 梯度范数。。。。。实线对应每次更新 1024 条回覆，，，，虚线对应 2048 条；；
；蓝色和橙色划分体现 group size 为 8 和 16。。。。。图源：论文 Figure 4。。。。。

论文较量了两组总 Batch 相同的设置：(P,G)=(128,8) 与 (64,16) 每次更新都使用 1024 条回覆；；
；(256,8) 与 (128,16) 则都使用 2048 条。。。。。图中以 n 体现 group size，，，，对应本文正文里的 G。。。。。

发明四：坚持学习率稳固，，，，会破损近似稳固性

实践中，，，，增添 GPU 往往会同时扩大数据并行度和全局 Batch。。。。。若是学习率等超参数仍沿用小 Batch 的设置，，，，训练未必会发散，，，，甚至可能由于梯度噪声更小而显得越发平稳。。。。。但在消耗相同数目的回覆时，，，，大 Batch 完成的参数更新次数更少，，，，模子未必能抵达相同性能。。。。。

换言之，，，，训练稳固不代表 Batch Size Invariance 仍然建设；；
；为了追上小 Batch，，，，它可能需要消耗更多回覆。。。。。

图 6｜GRPO 的学习率比照。。。。。左图展示参考 Batch、平方根学习率调解后的翻倍 Batch，，，，以及坚持学习率稳固的翻倍 Batch；；
；右图展示抵达目的所需的更新次数，，，，并按参考设置归一化。。。。。端点区间反映的是评估 checkpoint 的粒度，，，，不是置信区间。。。。。图源：论文 Figure 3。。。。。

右图进一步量化了更新次数。。。。。若是准确知足 Batch Size Invariance，，，，Batch 翻倍后的达标更新数应是参考设置的 0.50 倍。。。。。学习率调解后的设置位于0.50–0.67 倍，，，，与这一理想值基本一致；；
；牢靠学习率设置则需要0.75–0.83 倍的更新。。。。。由于每次大 Batch 更新消耗两倍回覆，，，，后一区间现实对应参考设置1.50–1.67 倍的样本消耗。。。。。

Takeaway：

学习率重新调解后，，，，GRPO 和 PPO 都只在一定 Batch 规模内泛起近似 Batch Size Invariance；；
；Batch 继续增大，，，，样本级学习曲线便最先偏离。。。。。GRPO 的 group-size 比照说明，，，，在已测设置中，，，，总回覆 Batch 比 prompt 数或 group size 单独更能描绘学习行为。。。。。PPO 中 actor 与 critic 的梯度标准并不相同。。。。。牢靠学习率的比照进一步批注，，，，训练稳固不即是稳固性建设。。。。。

第二步：在牢靠硬件上提高吞吐

在每样本学习效果近似坚持之后，，，，下一个问题是怎样更快处理这些样本。。。。。常见做法是增添 GPU，，，，并扩大数据并行；；
；但若是硬件数目稳固，，，，更大 Batch 是否也能加速？？？？？LLM 强化学习中的时机，，，，来自天生与训练的盘算差池称。。。。。

天生阶段：自回归解码每次只为一条序列天生一个新 token。。。。。并发较低时，，，，GPU 需要重复读取模子权重，，，，却只处理少量 token 向量。。。。。增添活跃序列数，，，，可以让更多 token 分摊权重读取开销，，，，因而回覆数可能比天生耗时增添得更快。。。。。训练阶段：回覆已经天生后，，，，前向和反向撒播能同时处理大宗 token 位置，，，，已经袒露出较高并行度。。。。。在这种情形下，，，，增大 Batch 主要是增添事情量。。。。。在论文丈量的 GRPO 设置中，，，，prompt batch 从 128 翻倍到 256 后，，，，actor 更新时间从 101.3 秒增添到 208.6 秒，，，，基本与 Batch 成比例增添。。。。。

一个简化的局部模子可以形貌这种差别：

论文还通过 Roofline 视角进一步诠释了这个直觉：Batching 会改变算术强度，，，，也会改变执行处于内存带宽瓶颈照旧盘算瓶颈。。。。。上面的简化模子，，，，概括的就是这种天生与训练的本钱差别。。。。。

发明五：牢靠硬件上，，，，天生耗时呈次线性增添

图 7｜在牢靠硬件上，，，，更多回覆纷歧定需要按比例增添网络时间。。。。。Batch 增添 4 倍时，，，，PPO 的天生阶段吞吐提高到 2.29 倍，，，，GRPO 提高到 1.36 倍。。。。。这些是天生阶段的丈量，，，，不是端到端训练加速。。。。。图源：论文 Figure 6。。。。。

图 7 同时展示了回覆数和网络时间相对最小 Batch 的倍数；；
；蓝色回覆数增添得比橙色耗时更快，，，，两者的比值就是天生阶段的吞吐收益。。。。。在 PPO 中，，，，训练 Batch 从 256 增添到 1024，，，，回覆数增添为 4 倍，，，，网络时间却只从 39 秒增添到 68 秒，，，，因此回覆网络吞吐提高为 4/(68/39)=2.29×。。。。。

在 GRPO 中，，，，P 从 128 增添到 256 时，，，，天生阶段吞吐提高 1.31 倍；；
；增添到 512 时，，，，提高 1.36 倍。。。。。从 256 到 512 的特殊收益已很小！。。。，，，说明在已测规模内，，，，可使用的天生吞吐收益正在趋于饱和。。。。。

阶段结论：

LLM 强化学习中的天生与训练保存盘算差池称：天生更容易受权重读取和内存带脱期制，，，，而训练已经袒露出较高并行度，，，，耗时更靠近随 Batch 线性增添。。。。。更大 Batch 可以让更多正在解码的序列分摊权重读取本钱，，，，因而纵然在牢靠硬件上也可能提高天生吞吐。。。。。

第三步：连系两个 Critical Batch，，，，找到最短 Time-to-target

上面的效果展现了 LLM 强化学习 Batch Scaling 中两条差别的界线：

Critical generation batch 关乎系统效率：对牢靠模子、解码引擎、回覆长度漫衍和硬件分配，，，，它标记天生吞吐靠近平台的位置。。。。。在此之前，，，，更大 Batch 能提高硬件使用率；；
；在此之后，，，，继续扩大只能带来很少的天生吞吐收益。。。。。Critical training batch 关乎样本效率：它是目今调参方案下，，，，近似 Batch Size Invariance 的上界。。。。。在此之前，，，，更大 Batch 抵达统一目的大致需要相同数目的回覆；；
；凌驾这个规模后，，，，更多回覆的平均收益不再足以完全赔偿更新次数镌汰，，，，达标样本需求最先增添。。。。。

图 8｜两种 critical batch。。。。。左图：天生吞吐随 Batch 增大逐渐靠近平台，，，，显存容量组成自力的可行性约束。。。。。右图：经由学习率调解后，，，，每条回覆的学习效果在一段规模内近似坚持，，，，然后在更大 Batch 下下降。。。。。两条横轴相互自力，，，，两个界线不必重合；；
；曲线均为示意。。。。。

两个界线之以是要脱离，，，，是由于它们回覆的是两个差别问题：天生侧尚有几多硬件吞吐可以挖掘，，，，以及训练侧还能否坚持每条回覆的学习效果。。。。。显存容量还可能在抵达吞吐平台之前限制可行 Batch。。。。。但任何一个界线都不可单独给出最快设置：若是天生 Batch 和训练 Batch 沿统一个标准 B 一起增大，，，，它们的相对顺序会通过「样本价钱 —— 端到端吞吐」之间的平衡，，，，塑造差别的达标时间曲线。。。。。

图 9｜天生 Batch 和训练 Batch 联动扩展时，，，，time-to-target 的两种可能情形。。。。。左图：天生吞吐先饱和，，，，在样本效率最先下降之前泛起一段近似最优的平台。。。。。右图：学习效率先下降，，，，但吞吐收益暂时仍能赔偿特殊样本，，，，因而示意最优点位于稳固区间之外。。。。。曲线展示可能情形，，，，不是对实验数据的拟合。。。。。

图 9 可以分成三个运行区间：

学习效果坚持，，，，吞吐仍在提高：模子达标需要的回覆数基本稳固，，，，系统却能更快处理它们，，，，因此训练时间下降。。。。。学习效果坚持，，，，吞吐已经饱和：继续扩大 Batch 已经很难带来特殊速率收益，，，，因而一段 Batch 区间可能拥有相似的训练时间。。。。。特殊样本价钱占了优势：一旦更大 Batch 需要更多回覆才华达标，，，，有限的吞吐提升就无法赔偿，，，，训练时间再次上升。。。。。

虽然，，，，两个界线的顺序也可以反过来。。。。。若是学习效率先恶化，，，，但天生吞吐还在快速提高，，，，那么只要吞吐收益大于特殊样本价钱，，，，更大 Batch 仍可能更快。。。。。因此，，，，最终目的是最小化 time-to-target，，，，而不是机械地选择某一个 critical batch。。。。。

实测效果：最好设置缩短 29%，，，，最差比照反而慢 42%

图 10｜牢靠硬件上的 GRPO 归一化达标时间。。。。。每个 prompt 天生 8 条回覆，，，，蓝色点使用平方根学习率 Scaling，，，，橙色比照坚持学习率稳固；；
；所有时间均以 P=128 为参考归一化，，，，星号标出已测设置中的最优点。。。。。图源：论文 Figure 8。。。。。

学习率重新调解后，，，，将 P 从 128 增添到 512 和 1024，，，，归一化 time-to-target 划分降至0.74 倍和 0.71 倍。。。。。在 P=1024 时，，，，模子与参考设置一样，，，，用 122.88K 条保存回覆抵达目的，，，，端到端吞吐提高 41%，，，，训练时间从 11.90 小时下降到 8.42 小时，，，，即不增添 GPU，，，，达标时间缩短 29%。。。。。

但更大 Batch 并不总是更好。。。。。在 P=2048 和 P=4096 时，，，，达标所需回覆数增添约 60%，，，，凌驾了 30% 和 36% 的吞吐收益，，，，最终训练时间升至1.23 倍和 1.18 倍。。。。。纵然在 P=256 这样的中等 Batch，，，，若是坚持学习率稳固，，，，吞吐只提高 17%，，，，达标回覆数却增添67%，，，，训练时间变为参考设置的1.42 倍。。。。。真正决议效果的，，，，始终是吞吐收益能否赔偿特殊样本价钱。。。。。

将前面的判断落到实践，，，，可以压缩为两步：

算法 1｜论文中的 Batch 调优框架：先调解学习率并预计达标样本价钱，，，，再寻找天生并发带来的端到端吞吐收益，，，，最后按达标时间选择设置。。。。。

这项事情的意义和界线

这项事情的价值，，，，不在于提出一种新的强化学习算法，，，，而在于为已有的 GRPO 和 PPO 训练提供了一套简朴、可扩展且 hardware-aware 的思索方式。。。。。详细来说，，，，它带来四点启发：

理论熟悉：Batch 为什么能变大，，，，又为什么不可一直变大？？？？？

这项研究把两个已往容易混在一起的问题拆开了：在使用同样多训练样本时，，，，模子还能不可学得一样好；；
；这些样本在给定硬件上能不可处理得更快。。。。。学习率 Scaling 可以在一定规模内维持近似 Batch Size Invariance，，，，但这一纪律最终会失效。。。。。若未来能提前展望这个有用规模，，，，就有时机镌汰每换一个模子或使命都要重新探索的本钱。。。。。

训练实践：先确认学得好，，，，再想步伐跑得快。。。。。

改变 GRPO 或 PPO 的训练 Batch 时，，，，应先配套调解学习率，，，，检查相同累计回覆数下能否抵达相近效果；；
；再提高天生并发，，，，丈量真正的端到端吞吐。。。。；；
；荒Ｗ印⒒皇姑蚧挥布后，，，，可以复用这套调优顺序，，，，但不可直接照搬上一次获得的 Batch 数值。。。。。

系统设计：分清天生和训练的本钱，，，，再决议怎样扩大 Batch。。。。。

天生阶段通常受权重读取和内存带脱期制，，，，更高并发可以分摊这部分本钱；；
；训练阶段的算术强度更高，，，，更大的优化器 Batch 未必带来一律收益。。。。。因此，，，，天生 Batch 与训练 Batch 纷歧定要同步扩大。。。。。将两者解耦、合理安排 GPU 分工，，，，可能进一步释放吞吐，，，，但也要阻止期待过久造成数据过时、进而破损学习行为。。。。。

评估方式：差别 Batch 必需放在统一起跑线上较量。。。。。

各组先划分调勤学习率等 Batch-dependent 设置，，，，再看两个问题：用了同样多的样本，，，，谁学得更好；；
；抵达统一个能力目的，，，，谁花的时间更少。。。。。只较量相同更新步数后的分数，，，，可能把「看过更多样本」误当成「学得更好」；；
；只较量吞吐，，，，也可能把「处理得更快」误当成「训练完成得更早」。。。。。

这些结论也有清晰界线。。。。。当模子、奖励、使命漫衍、训练阶段、推理引擎或执行战略爆发转变时，，，，样本效率与系统吞吐都可能改变，，，，已经测得的有用 Batch 规模不可直接照搬。。。。。后续一个自然偏向，，，，是逾越「只调学习率」的目今设定，，，，寻找其他 Batch-dependent 超参数的迁徙规则；；
；PPO 实验还提醒，，，，actor 和 critic 可能需要差别的 Batch 标准。。。。。