RecodeX 重构消息，开发金融AI Agent的团队在Hacker News发布开源工具Apgar，用于判断一次harness或提示词变更后，Agent在生产环境中是变好还是变差。该工具基于团队的Langfuse数据，在新版本上线后的最初数小时内，将Agent行为与上一版本对比，目前覆盖每轮工具调用次数、同一失败调用的重试、循环、输出长度和每轮成本等11项指标。指标恶化时，Apgar会通过Slack消息和webhook告警，并指出变化集中在哪些场景，例如仅出现在Telegram或长会话中。Apgar不含LLM评审，因此可低成本覆盖全部流量，但无法识别其他表现相同的错误答案。工具以Apache-2.0协议开源，通过Docker Compose或Helm部署，依赖ClickHouse，也支持任何发送OpenTelemetry数据的系统。