一个分类器,走 API
11 月 16 日,OpenAI 发布了一款用来识别儿童性虐待内容(CSAM)的工具,通过 API 向经过审核的机构免费开放,可中断有害行为,也提供干预措施。核心是新的图像分类器:找虐待行为的视觉特征,用来认出没见过的新图,并给出评分,帮审核人员排优先级。NCMEC 参与了训练、评估与部署。识别这一步被公共化,判定与处置仍留在各家手里:API 给的是分数,不替机构做决定。
少报一半,也更准
OpenAI 称,相比现有保护措施,被误标的图像少了 48%,被标图像里真含虐待内容的概率约为原来的两倍,且专门针对没见过的新图。ChatGPT 也会加拦截:用户去找这类素材时,系统中断操作、说明后果、引导求助,账号暂停 24 小时,反复违规可能更久,直至永封或上报。
门槛在审核
工具面向审核团队,不面向普通用户;机构要先通过审核才能接入,封号、移交执法仍由平台自己判断。OpenAI 称,它也能为负责儿童安全案件的执法调查提供支持。它还与 Anthropic、谷歌合作委托应对 AI 系统中儿童性剥削披露的新指南,Tech Coalition 已经把这套指南发了出来。
两种口径
一边是误报减少 48%,一边这是 OpenAI 自述、只对比自家上一代措施;一边说免费开放,一边只给经过审核的机构。数字一致,落点不同。
原文链接:https://www.ithome.com/1/028/066.htm
来源:IT之家 / 凤凰网科技