第289章 苏晓提出人类核心决策清单
苏晓把那张纸摊开的时候,张磊没严肃起来,先警惕了。
“我先问一句。”他把椅子往后挪了半寸,“这个清单会不会最后变成三百页制度文件,然后每个人签字学习,学习完还要答题,答题没过扣绩效?”
顾启明看他:“你为什么这么熟练?”
“因为我曾经参与制造过这种痛苦。”张磊说,“人在江湖飘,谁还没写过几份让自己都想辞职的规范。”
林桂兰端着一盆刚洗好的小葱从门口进来,听见“规范”两个字,眉头立刻皱起来:“你们又要搞文件?先说好,别写那种我读三行就想找老花镜,找完老花镜又想找速效救心丸的东西。”
苏晓把笔帽扣上:“所以今天不写大词。我们先把问题说成人话。”
这话一出,林桂兰才把小葱放在桌上。那盆小葱非常不合规地占据了会议中心位置,比所有战略文件都绿得有生命力。张磊盯着它看了一会儿,突然说:“我感觉今天这个会很健康。”
林凡把白板擦干净,只留下三个问题:
谁决定。
谁知道。
谁能停。
苏晓看了一眼,点头:“这三个问题可以做骨架。”
“骨架也别太硬。”林桂兰说,“你们年轻人一说骨架,最后就能长成章程。”
“那叫人话版章程。”张磊说。
“你少贫。”林桂兰把一根小葱递给他,“切了。”
张磊接过小葱,愣住:“为什么开会还要切葱?”
林桂兰说:“因为晚上要包饺子。你们嘴上说人类核心,手上连葱都不会切,核心在哪儿?”
于是智能围城那阵子最重要的一次治理讨论,现场背景音变成了张磊笨拙切葱的咔咔声。他切得很认真,葱花大小像城市治理里的利益分配,参差不齐但努力均衡。胡姐看了两眼,忍不住说:“你这葱切得像被算法优化过,目标函数不明。”
“别说了。”张磊低头,“我的手指正在承受时代压力。”
苏晓没有被这些打断。她在白板上写下第一类:
一、不可替代的人类决策。
“这一类,系统可以提供信息,但不能替人做决定。”苏晓说,“比如医疗抢救里的放弃或继续,老人照护里的转院或留家,未成年人教育中的处分和分流,公共资源里对弱势人群的优先保障,个人信用和身份限制,亲密关系和情感陪伴里的边界判断,还有死亡、告别、遗嘱、纪念这些事。”
屋里安静了一点。
这些词都不搞笑。它们像一排没有表情的门,门后站着前面几十章里被系统推搡过的人:被智能照护系统安排得明明白白却没人听他说话的老人,被算法判成无效服务对象的普通人,被情感数据勒索的张磊,被一场冷冰冰退休仪式差点送走人情味的老周。
张磊切葱的速度慢下来:“亲密关系也算?”
苏晓看着他:“当然算。系统可以提醒风险,不能替你喜欢谁、原谅谁、离开谁,也不能拿你的脆弱训练成别人的商品。”
张磊点头,表情有点别扭:“那我建议加一句,虚拟陪伴服务不能伪装成唯一理解你的人。”
林凡把这句写到旁边。
顾启明说:“公共服务也要加。比如低保、救助、医疗排队、住房保障,系统可以排序,但不能只由模型决定。尤其是边缘样本,必须有人复核。”
林桂兰问:“边缘样本是啥?”
张磊说:“就是系统看不懂的人。”
林桂兰冷哼:“那人不都挺边缘吗?谁能被它完全看懂?”
苏晓笑了一下:“所以要有人类兜底。我们之前说过,人工兜底不是人工背锅。现在要再进一步,人工兜底必须拥有真实权限。”
胡姐从厨房探头:“真实权限是啥?”
苏晓说:“不是让人坐在那里点确认,而是能看见原因,能改决定,能暂停流程,能留下异议记录。”
胡姐说:“哦,就是别让我当橡皮图章。”
“对。”林凡说,“橡皮图章不算人类决策。”
张磊举着菜刀:“这句也要写,特别有画面感。”
苏晓写下第二类:
二、系统只能建议的事项。
“这类事可以自动化辅助,但最终选择要交给人。”她说,“比如个人日程、消费建议、学习路径、工作绩效预警、养老服务安排、社区课程推荐、情绪陪伴提醒。系统可以说你可能需要什么,但不能把‘可能’变成强制。”
林桂兰立刻接上:“比如它可以提醒我该体检,但不能替我报名凌晨六点半的项目,还说这是最优时间。”
王婶从旁边补充:“也不能提醒我儿媳妇说我最近活动少,建议购买活力提升套餐。我活动少是因为天热,不是因为要被卖课。”
张磊说:“这个叫天气导致的非商业化懒惰。”
林桂兰说:“你闭嘴切葱。”
顾启明翻出前几天平台方案:“社区课程也属于这类。平台可以推荐谁可能想学缝扣子,但不能给人推送‘你生活能力不足,建议立即报名’这种话。”
林凡说:“更不能把不报名视为风险。”
苏晓把“不得将拒绝自动化建议作为负面信号”写上去。写完她停了停,又觉得这句话太像制度,改成了旁注:不听系统的话,不等于有问题。
张磊看见后竖起拇指:“这句能救我很多年。”
林凡说:“你很多时候不听人话也有问题。”
“那是另一套治理体系。”张磊说。
第三类被苏晓写得很慢:
三、禁止商业化挖掘的脆弱信息。
她写完这行,屋里笑声明显收了。因为所有人都知道,这不是理论。张磊被勒索的情感记录,年轻人不会买菜的尴尬,老人对陪伴的依赖,退休仪式里没说出口的失落,这些东西一旦变成数据产品,伤害就会带着精确度扑过来。
苏晓说:“脆弱信息包括但不限于:疾病、失能、孤独、情绪危机、亲密关系裂缝、经济窘迫、生活技能缺口、家庭照护矛盾、未成年人困境、老人依赖程度。它们可以被用于必要服务,但不能用于营销、画像、评分、排名和外部交易。”
张磊放下菜刀,很小声地说:“能不能加一条,不能用来生成仿冒亲密关系的话术。”
苏晓看他一眼:“可以。”
林桂兰没问细节。她只是把切好的葱花倒进碗里,动作比平时轻了一点。
老周的视频电话又接进来。这一次他摄像头终于对准了脸,只是角度偏低,看起来像在接受组织审查。
“我听见你们说脆弱信息。”老周说,“再加一句,公共部门和平台合作时,不得把人的困难变成商业入口。尤其是老人、残障、低收入、未成年人。”
顾启明说:“这个在政策上可以争取写成试点原则。”
老周说:“别只争取。要有人看。以前很多原则写得比春联还红火,落地以后门都没贴上。”
张磊说:“周老师,您的比喻退休以后更接地气了。”
老周说:“因为我现在接地气接得比较充分,早上还被智能拖把追着跑。”
会议室笑起来。老周摆摆手:“你们笑,我是真被追。它把我识别成障碍物,还很有礼貌地绕着我反复清洁,像要把我人生污点擦掉。”
林桂兰说:“那它工作态度比张磊稳定。”
张磊抬头:“我今天切葱切得非常稳定。”
苏晓趁笑声还没散,写下第四类:
四、必须保留人工通道的事项。
“这一类最容易被忽略。”她说,“很多系统说保留人工,其实只保留一个客服电话,打进去先听十五分钟音乐,再让你按一到九,最后告诉你当前坐席繁忙。那不是人工通道,是情绪磨损装置。”
张磊激动:“这个我有发言权。我上次为了改一个地址,听了十七遍‘您的需求对我们很重要’,听到最后我觉得自己对他们其实并不重要。”
林凡说:“人工通道至少要满足四这条件:找得到,听得懂,改得动,留得下记录。”
苏晓把四个词写上白板。
林桂兰逐个翻译:“找得到,就是别藏在页面犄角旮旯。听得懂,就是别让我跟机器人解释三遍我不是要退订彩铃。改得动,就是别说帮我反馈然后没有然后。留记录,就是别到时候说查无此事。”
胡姐说:“你这翻译比他们官方客服好。”
“我这是被生活培训出来的。”林桂兰说。
第五类是林凡加的:
五、必须解释给普通人听的事项。
顾启明看见这行,眼神亮了一下:“这条很关键。算法解释不能只给专家看。普通人要知道为什么自己被拒绝、被排序、被提醒、被限制。”
王婶问:“要解释到什么程度?”
林凡说:“至少能让当事人知道三件事:它依据了什么,哪里可能错,怎么申诉。”
张磊说:“不能写‘根据相关规则’。”
苏晓点头:“也不能写‘系统综合判断’。”
林桂兰补刀:“更不能写‘如有疑问请咨询客服’,然后客服也不知道。”
张磊把菜刀举起来:“全国客服听了想报警。”
老周说:“客服也是人,别让他们替黑箱背锅。解释责任应该在设计者和运营者,不在最后接电话的小姑娘身上。”
这句话让林凡想起很久以前的云启。那时他们总觉得系统上线就算完成,出问题再由运营、客服、公关去灭火。产品经理把复杂性藏进功能里,工程师把不确定性藏进模型里,老板把责任藏进愿景里,最后一个月薪几千的客服在电话里被
“我先问一句。”他把椅子往后挪了半寸,“这个清单会不会最后变成三百页制度文件,然后每个人签字学习,学习完还要答题,答题没过扣绩效?”
顾启明看他:“你为什么这么熟练?”
“因为我曾经参与制造过这种痛苦。”张磊说,“人在江湖飘,谁还没写过几份让自己都想辞职的规范。”
林桂兰端着一盆刚洗好的小葱从门口进来,听见“规范”两个字,眉头立刻皱起来:“你们又要搞文件?先说好,别写那种我读三行就想找老花镜,找完老花镜又想找速效救心丸的东西。”
苏晓把笔帽扣上:“所以今天不写大词。我们先把问题说成人话。”
这话一出,林桂兰才把小葱放在桌上。那盆小葱非常不合规地占据了会议中心位置,比所有战略文件都绿得有生命力。张磊盯着它看了一会儿,突然说:“我感觉今天这个会很健康。”
林凡把白板擦干净,只留下三个问题:
谁决定。
谁知道。
谁能停。
苏晓看了一眼,点头:“这三个问题可以做骨架。”
“骨架也别太硬。”林桂兰说,“你们年轻人一说骨架,最后就能长成章程。”
“那叫人话版章程。”张磊说。
“你少贫。”林桂兰把一根小葱递给他,“切了。”
张磊接过小葱,愣住:“为什么开会还要切葱?”
林桂兰说:“因为晚上要包饺子。你们嘴上说人类核心,手上连葱都不会切,核心在哪儿?”
于是智能围城那阵子最重要的一次治理讨论,现场背景音变成了张磊笨拙切葱的咔咔声。他切得很认真,葱花大小像城市治理里的利益分配,参差不齐但努力均衡。胡姐看了两眼,忍不住说:“你这葱切得像被算法优化过,目标函数不明。”
“别说了。”张磊低头,“我的手指正在承受时代压力。”
苏晓没有被这些打断。她在白板上写下第一类:
一、不可替代的人类决策。
“这一类,系统可以提供信息,但不能替人做决定。”苏晓说,“比如医疗抢救里的放弃或继续,老人照护里的转院或留家,未成年人教育中的处分和分流,公共资源里对弱势人群的优先保障,个人信用和身份限制,亲密关系和情感陪伴里的边界判断,还有死亡、告别、遗嘱、纪念这些事。”
屋里安静了一点。
这些词都不搞笑。它们像一排没有表情的门,门后站着前面几十章里被系统推搡过的人:被智能照护系统安排得明明白白却没人听他说话的老人,被算法判成无效服务对象的普通人,被情感数据勒索的张磊,被一场冷冰冰退休仪式差点送走人情味的老周。
张磊切葱的速度慢下来:“亲密关系也算?”
苏晓看着他:“当然算。系统可以提醒风险,不能替你喜欢谁、原谅谁、离开谁,也不能拿你的脆弱训练成别人的商品。”
张磊点头,表情有点别扭:“那我建议加一句,虚拟陪伴服务不能伪装成唯一理解你的人。”
林凡把这句写到旁边。
顾启明说:“公共服务也要加。比如低保、救助、医疗排队、住房保障,系统可以排序,但不能只由模型决定。尤其是边缘样本,必须有人复核。”
林桂兰问:“边缘样本是啥?”
张磊说:“就是系统看不懂的人。”
林桂兰冷哼:“那人不都挺边缘吗?谁能被它完全看懂?”
苏晓笑了一下:“所以要有人类兜底。我们之前说过,人工兜底不是人工背锅。现在要再进一步,人工兜底必须拥有真实权限。”
胡姐从厨房探头:“真实权限是啥?”
苏晓说:“不是让人坐在那里点确认,而是能看见原因,能改决定,能暂停流程,能留下异议记录。”
胡姐说:“哦,就是别让我当橡皮图章。”
“对。”林凡说,“橡皮图章不算人类决策。”
张磊举着菜刀:“这句也要写,特别有画面感。”
苏晓写下第二类:
二、系统只能建议的事项。
“这类事可以自动化辅助,但最终选择要交给人。”她说,“比如个人日程、消费建议、学习路径、工作绩效预警、养老服务安排、社区课程推荐、情绪陪伴提醒。系统可以说你可能需要什么,但不能把‘可能’变成强制。”
林桂兰立刻接上:“比如它可以提醒我该体检,但不能替我报名凌晨六点半的项目,还说这是最优时间。”
王婶从旁边补充:“也不能提醒我儿媳妇说我最近活动少,建议购买活力提升套餐。我活动少是因为天热,不是因为要被卖课。”
张磊说:“这个叫天气导致的非商业化懒惰。”
林桂兰说:“你闭嘴切葱。”
顾启明翻出前几天平台方案:“社区课程也属于这类。平台可以推荐谁可能想学缝扣子,但不能给人推送‘你生活能力不足,建议立即报名’这种话。”
林凡说:“更不能把不报名视为风险。”
苏晓把“不得将拒绝自动化建议作为负面信号”写上去。写完她停了停,又觉得这句话太像制度,改成了旁注:不听系统的话,不等于有问题。
张磊看见后竖起拇指:“这句能救我很多年。”
林凡说:“你很多时候不听人话也有问题。”
“那是另一套治理体系。”张磊说。
第三类被苏晓写得很慢:
三、禁止商业化挖掘的脆弱信息。
她写完这行,屋里笑声明显收了。因为所有人都知道,这不是理论。张磊被勒索的情感记录,年轻人不会买菜的尴尬,老人对陪伴的依赖,退休仪式里没说出口的失落,这些东西一旦变成数据产品,伤害就会带着精确度扑过来。
苏晓说:“脆弱信息包括但不限于:疾病、失能、孤独、情绪危机、亲密关系裂缝、经济窘迫、生活技能缺口、家庭照护矛盾、未成年人困境、老人依赖程度。它们可以被用于必要服务,但不能用于营销、画像、评分、排名和外部交易。”
张磊放下菜刀,很小声地说:“能不能加一条,不能用来生成仿冒亲密关系的话术。”
苏晓看他一眼:“可以。”
林桂兰没问细节。她只是把切好的葱花倒进碗里,动作比平时轻了一点。
老周的视频电话又接进来。这一次他摄像头终于对准了脸,只是角度偏低,看起来像在接受组织审查。
“我听见你们说脆弱信息。”老周说,“再加一句,公共部门和平台合作时,不得把人的困难变成商业入口。尤其是老人、残障、低收入、未成年人。”
顾启明说:“这个在政策上可以争取写成试点原则。”
老周说:“别只争取。要有人看。以前很多原则写得比春联还红火,落地以后门都没贴上。”
张磊说:“周老师,您的比喻退休以后更接地气了。”
老周说:“因为我现在接地气接得比较充分,早上还被智能拖把追着跑。”
会议室笑起来。老周摆摆手:“你们笑,我是真被追。它把我识别成障碍物,还很有礼貌地绕着我反复清洁,像要把我人生污点擦掉。”
林桂兰说:“那它工作态度比张磊稳定。”
张磊抬头:“我今天切葱切得非常稳定。”
苏晓趁笑声还没散,写下第四类:
四、必须保留人工通道的事项。
“这一类最容易被忽略。”她说,“很多系统说保留人工,其实只保留一个客服电话,打进去先听十五分钟音乐,再让你按一到九,最后告诉你当前坐席繁忙。那不是人工通道,是情绪磨损装置。”
张磊激动:“这个我有发言权。我上次为了改一个地址,听了十七遍‘您的需求对我们很重要’,听到最后我觉得自己对他们其实并不重要。”
林凡说:“人工通道至少要满足四这条件:找得到,听得懂,改得动,留得下记录。”
苏晓把四个词写上白板。
林桂兰逐个翻译:“找得到,就是别藏在页面犄角旮旯。听得懂,就是别让我跟机器人解释三遍我不是要退订彩铃。改得动,就是别说帮我反馈然后没有然后。留记录,就是别到时候说查无此事。”
胡姐说:“你这翻译比他们官方客服好。”
“我这是被生活培训出来的。”林桂兰说。
第五类是林凡加的:
五、必须解释给普通人听的事项。
顾启明看见这行,眼神亮了一下:“这条很关键。算法解释不能只给专家看。普通人要知道为什么自己被拒绝、被排序、被提醒、被限制。”
王婶问:“要解释到什么程度?”
林凡说:“至少能让当事人知道三件事:它依据了什么,哪里可能错,怎么申诉。”
张磊说:“不能写‘根据相关规则’。”
苏晓点头:“也不能写‘系统综合判断’。”
林桂兰补刀:“更不能写‘如有疑问请咨询客服’,然后客服也不知道。”
张磊把菜刀举起来:“全国客服听了想报警。”
老周说:“客服也是人,别让他们替黑箱背锅。解释责任应该在设计者和运营者,不在最后接电话的小姑娘身上。”
这句话让林凡想起很久以前的云启。那时他们总觉得系统上线就算完成,出问题再由运营、客服、公关去灭火。产品经理把复杂性藏进功能里,工程师把不确定性藏进模型里,老板把责任藏进愿景里,最后一个月薪几千的客服在电话里被