Agent Harness / AI Software Delivery / Product Builder

把 Agent 从 “会做事” 送进真实生产。

我是 Vicky,7 年产品经验,近 1.5 年在美团做骑手 AI 招聘。从三段式 Agent 全链路,到“招聘小龙虾”自进化系统,我关心的不是模型炫技,而是一个 agent 如何被授权、被观测、被验证、被治理,并最终拿到 ROI。

Scroll for the system
Thesis

Agent PM 的战场,正在从“生成”转向“交付”。

Harness 的最新方向很明确:AI 已经能写代码,真正缺的是让 AI 产物安全进入生产的控制层。这里需要的 PM,不只是会写 PRD,而是能定义目标函数、反馈信号、授权边界和组织信任。

01 / Measurement

AI ROI 不是看 token 花了多少,而是看什么真的 ship。

企业需要把 AI activity 连接到 PR、deployment、incident、业务结果。否则看似效率提升,隐形 review、bugfix、上下文切换都没人买单。

02 / Governance

Autonomy 的前提不是信任模型,是设计好约束。

每个 agent 都应该有 identity、scope、credential、policy gate、audit trail、rollback path。越自动,越要可追责。

03 / Evolution

好 Harness 不是固定流程,而是可进化系统。

策略、prompt、模型、触达时机都应该能被回测、灰度、冠军挑战者机制持续优化。人定目标函数,Agent 找路径。

Interactive Map

一个 agent 真正进入生产前,要穿过六道门。

点击节点,右侧会切换对应的产品判断。这个地图把 Harness 官方产品信号、我的美团案例和我会做的产品取舍放在同一个界面里。

AI Delivery Control Room

把模型能力、上下文、工具、权限、反馈信号、业务目标接成闭环。

Proof

我不是旁观者,我做过生产里的 agent loop。

美团骑手招聘的价值,不在“用了大模型”,而在把一个真实业务漏斗变成可观测、可回测、可自进化的系统。

Funnel

三段式 Agent 全链路

BOSS Agent / AI 外呼 / 企微约面,接管从线索获取到转化承接的关键节点。

1:N

从“1 专员 : 1 账号”升级为“1 专员 : N Agent”。

Strategy

圈选 Autoresearch

主 Agent 派子 Agent 并发探索特征组合,自动写 SQL 回测,以入职结果筛掉无效假设。

6.4x

重画池子定义带来 Precision 级别提升。

Evolution

Prompt 冠军挑战者

话术策略不再靠人工拍脑袋,挑战者连续胜出后灰度晋升为新冠军。

7x

AI 外呼 prompt v0.2 到 v0.5 成功率提升。

Outcome

ROI 转正

目标函数不是“对话好看”,而是约面、到面、入职、成本和运营组织效率。

2-3

招聘小龙虾 ROI 从 0.15 转正到 2-3。

Portfolio Artifact

AI Delivery Control Plane

如果我来做 Harness 方向,我会做一套面向企业 agent 的控制台:让每个 agent 都有 owner、权限、成本、风险、输出质量和业务结果。它不是又一个聊天框,而是 agent 进入生产的工作台。

Agent registry Context graph Policy gates Outcome ledger Human calibration Evolution loop
AI Delivery Control Plane / concept prototype
Outcome Pipeline
Coding
Prompttool, model, context cost
DiffAI-authored lines
PRreview burden
Mergeaccepted output
Delivery
BuildCI time and fail cause
Testcoverage and regression
Deployrisk gate and rollout
Operateincident and rollback
Business
Outcomefeature shipped
Costper agent / team
Trusthuman calibration
Loopfailure class to fix
Trajectory

我的经历不是散点,是同一种能力在升级。

线索、司机、会员、骑手、agent,本质都在做一件事:理解真实人群和真实约束,用机制和系统把结果跑出来。

网易严选

社交电商拉新、门店 B 端系统、小程序转化。训练低成本增长和复杂流程拆解。

滴滴国际化

俄罗斯“时长买断”重构司机收入确定性,运力 +10%;巴西周单量挑战赛 ROI 1.5-3.5。

度小满

信贷老客增长、等级会员体系、付费会员 MVP。训练长期权益和商业指标设计。

美团 AI 招聘

多 Agent 全链路 + 招聘小龙虾自进化。把业务漏斗变成可回测、可治理、可进化系统。

Builder Side

我日常就在用 agent 工作。

Claude Code / Cursor / OpenClaw 不是简历关键词,是我的真实工作方式。我会自己拉代码、改后台、做数据看板、写网页、搭自动化,也会从用户体感里拆 agent failure modes。

Context engineering Memory design MCP / tools AI coding Evaluation loop
Taste

我喜欢有证据的浪漫主义。

我对 AI 的兴趣不是“它很酷”,而是它真的可以重写人的工作方式。好的 Agent 产品应该有一点魔法感,但底层必须是冷静的:指标、权限、审计、异常恢复、业务结果。