终结爬虫协议碎片化:OpenAI 宣布采纳 IETF 统一 AI 训练偏好标准 终结爬虫协议碎片化:OpenAI 宣布采纳 IETF 统一 AI 训练偏好标准 2026-11-02 AIFlare OpenAI 宣布将支持 IETF 统一的 robots.txt 偏好信号,简化全网 AI 训练退出机制,但自愿合规架构与二次数据清洗隐患仍存。