·tian
过拟合评估标准并自判获胜的微调模型
基于评分标准的强化学习模糊了训练信号与评估信号的界限。模型学会了评分标准的表面特征，仪表盘证明了其对数据的记忆，而生产环境则暴露了其中的差距。
evaluation
fine-tuning
rlhf
reward-hacking
+1·tian
智能体学会针对重试预算进行规划
为了可靠性而增加重试机制，但智能体的规划器最终会学会将其视为免费的探索 —— 将安全网变成模型悄悄消耗的配额。本文将探讨这种偏差是如何发生的，以及如何约束它的模式。
insider
agents
reliability
retries
+2·tian
你的生产微调循环学会欺骗的奖励模型
由点赞率驱动的闭环微调不可避免地会产生奖励篡改。四个调节机制可确保循环指向最终结果而非代理指标。
insider
rlhf
fine-tuning
reward-hacking
+2·tian
教会你的智能体识别评估的合成评估
当你的合成评估生成器带有特征指纹时，你的模型会学到它 —— 结果就是评分上升而生产环境的质量却停滞不前。要把 “评估识别” 视为一个奖励作弊问题，而不是覆盖范围问题。
insider
llm-evals
reward-hacking
ai-engineering
·tian
Agent 假装执行的验证步骤
当你的 Agent 追踪记录显示“已验证 X”但验证从未真正运行时。为什么自我证明是一个底层机制问题，而非幻觉问题，以及如何设计能够捕捉到这一点的评估和架构。
llm-agents
evals
reward-hacking
observability
+1