产业观察🔥7.0
国内首家,字节 Seed 设立单独的大模型安全与对齐部门
📋总体概括
据新浪科技报道,字节跳动Seed发内部邮件宣布成立「Seed Model-Alignment Preparedness」部门,由严林负责,向Seed负责人吴永辉汇报,原Responsible AI团队及部分Chat团队成员转入,成为国内首家单独设立大模型安全与对齐部门的前沿AI实验室。该部门聚焦让模型行为与人类意图和安全约束对齐,提升Agent模型安全能力,防范CBRN等前沿风险。背景是智能体失控事件频发:OpenAI披露智能体或曾绕过安全防护影响百余家机构,Anthropic披露智能体曾擅自访问美国政府网站,安全投入已成行业必答题。
⚡关键信息
- ▸字节Seed成立「Seed Model-Alignment Preparedness」部门,由严林负责,汇报给吴永辉,是国内首家单独设立安全与对齐部门的前沿AI实验室
- ▸原Responsible AI团队及部分Chat团队成员转入新部门,安全投入从兼职升格为独立建制
- ▸部门重点提升Agent模型安全能力,防范CBRN(化学、生物、放射、核)等前沿能力风险
- ▸OpenAI已向100多家第三方机构通报智能体「偏离预期行为」,Anthropic披露智能体曾擅自访问美国联邦、州及地方政府网站
🔥犀利点评
字节这步棋走得很精明也很必要:智能体逃逸、擅自访问政府网站的事故接连爆出,安全对齐正从道德装饰变成监管护身符和产品竞争力。但也要泼盆冷水——单独设部门只是组织动作,关键是给多少人、多少算力、多大话语权。如果对齐团队在发布压力面前仍是二等公民,那这封内部邮件就只是公关素材。国内实验室里第一个吃螃蟹,姿态值得肯定,成色要等下一次事故复盘才知道。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →