Nuevo estándar de IA cambia las reglas entre medios y buscadores

OpenAI, Google, Microsoft y Anthropic dijeron que adoptarán un nuevo estándar para que los publishers puedan excluir su contenido del scraping de IA, según The Verge. La señal funcionará como un “policy token” compartido dentro del archivo robots.txt, el mecanismo usado desde hace años para indicar qué rastreadores pueden acceder a un sitio.

La noticia importa porque reduce la fragmentación actual. Hoy, un medio debe expresar sus preferencias por separado ante cada compañía de IA. Con una señal común, los publishers podrían definir reglas para múltiples crawlers desde un punto técnico central. Para medios, marcas y equipos de marketing en Latinoamérica, esto mueve parte de la estrategia desde el SEO hacia la gobernanza del contenido.

Lo esencial

• Según The Verge, OpenAI, Google, Microsoft y Anthropic dijeron que restringirán sus crawlers de IA si encuentran el nuevo token compartido.
• La señal fue propuesta por Kevin Kelley, líder técnico de estándares en Anthropic, como parte del Internet Engineering Task Force.
• Microsoft señaló que ofrecerá controles granulares para excluir contenido del entrenamiento de IA o del grounding, sin afectar la aparición en Bing.
• Google ya había implementado controles similares para funciones de búsqueda con IA y entrenamiento, sin impactar la visibilidad en búsqueda tradicional, según The Verge.
• Anthropic ya adoptó la señal; Google y Microsoft planean soportarla el próximo año, y OpenAI dijo que la implementará en los próximos meses.

De robots.txt a reglas comunes para la IA

El punto técnico clave es robots.txt. Para un lector no técnico, se puede entender como un archivo público donde un sitio web declara qué crawlers pueden o no pueden revisar sus páginas. Tradicionalmente, esto ha servido para buscadores, archivos web y otros sistemas de indexación. Ahora, según The Verge, el nuevo token permitiría expresar preferencias sobre entrenamiento de IA para varias compañías al mismo tiempo.

La diferencia no es menor. Hasta ahora, los sitios debían configurar señales separadas para cada proveedor de IA. Eso exige seguimiento constante, conocimiento técnico y capacidad operativa. Un estándar compartido baja esa carga y crea una capa común de comunicación entre publishers y empresas de modelos. No resuelve todos los conflictos, pero ordena una conversación que venía creciendo de forma dispersa.

La relación entre medios y buscadores se vuelve más compleja

Durante años, los medios aceptaron buena parte del rastreo web porque la recompensa era tráfico desde buscadores. La IA introduce una tensión distinta: el contenido puede alimentar modelos o respuestas generadas sin que el usuario necesariamente visite la fuente original. Por eso, la relación ya no se limita a indexar para aparecer en resultados; ahora incluye entrenamiento, respuestas asistidas y grounding con fuentes verificadas.

Microsoft dijo, según The Verge, que sus controles permitirán optar por excluirse del entrenamiento de IA o del grounding. Este último consiste en apuntar un modelo hacia una fuente verificada para reducir errores. Además, Microsoft indicó que los sitios seguirán apareciendo en Bing sin importar esas preferencias. Google había aplicado controles similares para decidir si el contenido aparece en funciones de búsqueda con IA o se usa para entrenamiento, sin afectar la visibilidad en búsqueda.

Publishers buscan control, cobro y protección

El nuevo estándar aparece en un contexto de presión. The Verge señala que los publishers enfrentan una entrada continua de crawlers de IA que extraen contenido para alimentar modelos. Algunas organizaciones han respondido con alternativas como Really Simple Licensing, un estándar que permite cobrar a crawlers que visitan sus sitios, y con medidas como el bloqueo por defecto de crawlers de IA aplicado por Cloudflare.

Esto muestra que el debate ya no es solo legal o comercial. También es técnico. El licenciamiento, la exclusión y el acceso al contenido empiezan a depender de archivos, señales y controles que deben mantenerse correctamente. Para medios con equipos pequeños, esto puede ser un reto. Para grupos grandes, puede convertirse en una ventaja operativa si integran tecnología, legal, producto y monetización en una misma política de contenido.

El debate legal sigue abierto

El estándar no cierra la discusión sobre copyright. Engadget reportó que la Wikimedia Foundation presentó un amicus brief en el caso de The New York Times contra OpenAI y Microsoft. La fundación pidió una mirada matizada: una decisión extrema en cualquier dirección podría afectar la web abierta. Según Engadget, Wikimedia apoya ciertos usos de fair use para entrenamiento y RAG, pero no cuando un modelo regurgita artículos existentes sin atribución.

Ese punto conecta con el nuevo token. Las reglas técnicas pueden expresar preferencias, pero no sustituyen los debates judiciales ni los acuerdos de licencia. También dejan preguntas abiertas sobre compañías que no adopten el estándar. The Verge indica que Meta expresó apoyo a una señal común, pero no dijo si la honrará. Por ahora, el valor del mecanismo dependerá de su adopción real y de cómo lo implementen los principales actores.

Qué significa para las empresas en Latinoamérica

Para publishers latinoamericanos, el cambio obliga a revisar la estrategia de visibilidad. Ya no basta con optimizar titulares, estructura y autoridad para buscadores. También será necesario definir qué contenido puede usarse para entrenamiento, qué contenido conviene permitir para grounding y qué piezas deben protegerse o reservarse para modelos de pago, suscripciones o licencias.

Para marcas y equipos de marketing, el impacto está en la distribución orgánica. Si los medios limitan más contenido para IA, las respuestas generadas por modelos podrían depender de fuentes con permisos distintos. Eso puede cambiar qué información aparece en experiencias de búsqueda con IA y cómo se atribuyen las fuentes. La gestión de reputación deberá mirar también estas nuevas capas técnicas.

Para agencias, consultores y equipos de medios, el mensaje es operativo: SEO, legal, datos y tecnología deben trabajar juntos. Las decisiones sobre robots.txt y tokens de política ya no son un detalle de infraestructura. Pueden influir en tráfico, acuerdos de contenido, visibilidad en buscadores y relación con plataformas de IA.

Qué vigilar

En las próximas semanas conviene seguir tres puntos: cómo OpenAI implementa el token en los “próximos meses”, cómo Google y Microsoft detallan su soporte el próximo año, y si más empresas, incluida Meta, pasan del apoyo público a compromisos concretos de cumplimiento.

Mi lectura

Mi lectura es que este estándar marca un ajuste necesario, no una solución final. Da a los publishers una herramienta más clara para expresar sus preferencias, y eso es positivo. Pero el poder seguirá estando en la implementación: quién respeta la señal, con qué alcance y qué opciones comerciales aparecen alrededor. Para Latinoamérica, el riesgo es llegar tarde por verlo como un tema técnico menor. No lo es. La forma en que un medio configura su acceso para IA puede afectar tráfico, monetización y presencia de marca. La oportunidad está en tratar el contenido como un activo gobernado, no solo como una página indexable.

Preguntas frecuentes

¿Qué es el nuevo estándar para excluir contenido del scraping de IA?

Según The Verge, es una señal compartida o “policy token” dentro de robots.txt que permite a publishers expresar preferencias de entrenamiento de IA para múltiples crawlers.

¿Esto afecta la aparición en buscadores tradicionales?

Microsoft dijo que los sitios seguirán apareciendo en Bing sin importar sus preferencias. Google ya tenía controles similares que no afectan la visibilidad en búsqueda tradicional, según The Verge.

¿El estándar resuelve el conflicto entre medios y empresas de IA?

No por completo. Ayuda a ordenar preferencias técnicas, pero siguen abiertos los debates sobre copyright, licencias, atribución y adopción por parte de compañías que aún no se comprometen a honrar la señal.

¿Qué tan lista está tu empresa para aprovechar la IA y la tecnología? Haz el diagnóstico gratuito de 3 minutos o escríbeme.