22/11/2026, 09.52
por Stefanocubre investigación, modelos y nuevas tecnologías
Condividi su Facebook Condividi su Twitter Condividi su Pinterest Condividi su Telegram Condividi su WhatsApp

Google, Microsoft y OpenAI adoptan el token de Kevin Kelley en robots.txt

Google, Microsoft y OpenAI acuerdan un token compartido en robots.txt para que los editores eviten que sus webs entrenen modelos de IA con un solo comando.
Google, Microsoft y OpenAI adoptan el token de Kevin Kelley en robots.txt
En síntesis
  • Google, Microsoft y OpenAI adoptarán una línea compartida en robots.txt para gestionar el entrenamiento de IA.
  • El estándar se basa en un borrador del IETF propuesto por Kevin Kelley de Anthropic.
  • Google integrará este control con Google-Extended y Microsoft actualizará sus etiquetas NoArchive y NoCache para 2027.
  • El sistema es voluntario y permite a los propietarios de webs excluir sus contenidos de múltiples proveedores simultáneamente.

La gestión de la propiedad intelectual en la era de la inteligencia artificial generativa acaba de dar un paso hacia la simplificación técnica. Google, Microsoft y OpenAI han anunciado que respetarán una línea compartida en el archivo robots.txt para definir las preferencias de entrenamiento de IA. Esta medida busca eliminar la necesidad de que los administradores de sitios web redacten reglas individuales para cada rastreador de cada empresa, centralizando la voluntad del editor en un único comando sectorial.

Un token compartido para el control de datos

La base de esta iniciativa no es una invención espontánea de las grandes tecnológicas, sino que se apoya en un borrador de la Internet Engineering Task Force (IETF). Específicamente, el proyecto surge de una propuesta presentada por Kevin Kelley, de Anthropic, ante el grupo de trabajo de AI Preferences. Este documento propone la creación de un token de política denominado __usage_ai-training.

A diferencia de otras actualizaciones técnicas, este borrador no introduce una gramática nueva en el archivo robots.txt. Esto significa que los analizadores actuales, que no reconozcan este token, simplemente ignorarán el grupo de reglas, evitando así errores de indexación en los buscadores tradicionales. La funcionalidad permite utilizar las directivas clásicas de Allow y Disallow bajo este nuevo token. Por ejemplo, un editor podría bloquear el entrenamiento de IA en todo su dominio, pero permitirlo específicamente en una carpeta de prensa o kits de medios, optimizando así la visibilidad de su material corporativo sin exponer el resto de su propiedad intelectual.

La estrategia de implementación de Google

Aunque el objetivo es la unificación, la ejecución varía según el proveedor. Google ha detallado que tratará este token de exclusión compartido como una prohibición de Google-Extended, siempre y cuando el sitio web no haya especificado instrucciones concretas para Google-Extended. Este control no solo afecta al entrenamiento de los modelos, sino que también se aplica a la fundamentación (grounding) dentro de las aplicaciones de Gemini.

Es fundamental entender que los controles específicos de cada empresa seguirán coexistiendo con la señal conjunta. Esto otorga a los empresarios una granularidad total: pueden establecer una preferencia general para todo el sector de la IA y, simultáneamente, ajustar las instrucciones para un desarrollador concreto. Aquellos sitios que decidan permitir explícitamente Google-Extended podrán seguir apareciendo en las respuestas de Gemini y generar clics a través de la fundamentación de datos.

El calendario de transición de Microsoft

Microsoft ha tomado un camino distinto en cuanto a la gestión de sus etiquetas heredadas. La compañía ha informado que las etiquetas NoArchive y NoCache serán sustituidas por nuevas preferencias específicas de entrenamiento y fundamentación. El plazo para que los sitios web realicen esta transición es el 1 de febrero de 2027.

Este movimiento refleja un cambio de paradigma en la arquitectura de Microsoft. Mientras que en el pasado el enfoque estaba en evitar que el buscador almacenara una copia de la página, ahora la prioridad es diferenciar entre la indexación para la búsqueda y el uso de esos mismos datos para modificar los parámetros aprendidos de un modelo de IA generativa. Esta distinción es clave para los negocios que desean mantener su tráfico orgánico pero no quieren que su contenido sea absorbido por el entrenamiento de modelos comerciales.

Definiciones técnicas y límites del estándar

Para evitar ambigüedades, el vocabulario del borrador del IETF define el entrenamiento de IA específicamente como el uso de contenido para modificar los parámetros aprendidos de un modelo generativo. Esto excluye tareas no generativas, como la clasificación de datos o el análisis simple, que siguen operando bajo las reglas habituales de rastreo.

El respaldo de los principales proveedores de IA permitiría establecer un estándar duradero y aplicable en todo el sector, respondiendo a las demandas de editores y organismos reguladores.

Sin embargo, existe un punto crítico que los emprendedores y responsables de IT deben considerar: el cumplimiento es estrictamente voluntario. Al no existir sanciones formales ni mecanismos de verificación independientes, la eficacia del sistema depende enteramente de la buena fe de las empresas que decidan adherirse al estándar. Como indica Xataka, la ausencia de auditorías externas deja un vacío en la garantía real de que el contenido no esté siendo procesado.

Diferencias operativas entre los gigantes

Para comprender el impacto de estas medidas, es útil recordar que Google y Microsoft operan con filosofías distintas. Mientras que Google nació con la misión de organizar la información mundial y centrar sus servicios en la web, Microsoft ha evolucionado desde el software de sistema y la productividad hacia la nube y la IA integrada en el ecosistema empresarial. Esta diferencia se traduce en cómo gestionan el acceso a los datos: Google prioriza la accesibilidad universal, mientras que Microsoft integra la IA en herramientas de flujo de trabajo como Microsoft Forms o Copilot.

La adopción de un estándar compartido es, por tanto, una concesión necesaria para evitar una fragmentación total de la web, donde cada sitio tendría que gestionar decenas de archivos de configuración distintos para cada nueva startup de IA que surja en el mercado. Según Search Engine Journal, esta coordinación es un intento de mitigar la fricción entre los creadores de contenido y las empresas de IA.

Implicaciones para el tejido empresarial en España

Para las empresas españolas, este avance técnico llega en un momento de alta sensibilidad regulatoria. La implementación del AI Act de la Unión Europea pone un énfasis sin precedentes en la transparencia y el respeto a los derechos de autor. El nuevo estándar de robots.txt ofrece a las PYMES y medios de comunicación locales una herramienta sencilla para ejercer su derecho de exclusión (opt-out) sin necesidad de contar con departamentos legales o técnicos masivos.

En el contexto de la Agenda Digital española, donde se impulsa la digitalización del tejido productivo, es vital que los emprendedores comprendan que el contenido es un activo estratégico. La capacidad de decidir quién entrena sus modelos con los datos de una empresa española puede ser la diferencia entre mantener una ventaja competitiva o alimentar la herramienta de un competidor global. Dado que el tejido empresarial español está compuesto mayoritariamente por pequeñas empresas, la simplificación de estos controles reduce la brecha técnica y permite que el control de la propiedad intelectual no sea un privilegio exclusivo de las grandes corporaciones tecnológicas.

Preguntas frecuentes

¿Tengo que cambiar mi archivo robots.txt ahora mismo?

No es urgente, ya que ninguna de las tres empresas (Google, Microsoft, OpenAI) soporta la línea compartida actualmente, aunque ya han anunciado sus planes para hacerlo.

¿Si bloqueo el entrenamiento de IA, desapareceré de los resultados de búsqueda de Google?

No. El bloqueo del entrenamiento de IA es distinto a la indexación. Puedes evitar que usen tus datos para entrenar modelos y seguir apareciendo en los resultados de búsqueda tradicionales.

¿Qué pasa con las etiquetas NoArchive de Microsoft?

Microsoft las sustituirá por preferencias de entrenamiento y fundamentación. Tienes hasta el 1 de febrero de 2027 para migrar a las nuevas etiquetas.

¿Es este sistema obligatorio para todas las empresas de IA?

No, es un estándar voluntario. Solo las empresas que decidan adherirse al borrador del IETF respetarán este token compartido.


Fuentes: Searchenginejournal, Geeksforgeeks, Forms ·

glacom · Inteligencia artificial para empresas: los modelos corren en tus servidores, los datos no salen →
Hai una domanda su questo dossier?

Scrivila qui: Susanna, l assistente AI di glacom, ti risponde via email con un approfondimento gratuito.

Nessuna consulenza personalizzata (finanziaria, legale o medica): solo informazione e fonti. Email usata solo per rispondere.

oppure scrivile su: WhatsApp · Telegram · SimpleX · Delta Chat · Email

Condividi su Facebook Condividi su Twitter Condividi su Pinterest Condividi su Telegram Condividi su WhatsApp
Vista para imprimir
CLOSE X
Ver también
Discord abre sus servidores públicos a Google y la IA: impacto y riesgos
Discord permitirá que los mensajes de servidores públicos sean indexados por buscadores y resumidos por IA. Analizamos el despliegue y la privacidad e…
19/11/2026 18:52
Shopify paga comisiones del 0,3% a desarrolladores de agentes de IA
Shopify impulsa el comercio agéntico permitiendo que IAs compren por los usuarios. Analizamos el nuevo modelo de comisiones y su impacto en el retail …
19/11/2026 15:36
OpenAI automatiza anuncios en ChatGPT: cambios y funcionamiento
OpenAI activa por defecto las mejoras creativas en ChatGPT Ads, permitiendo que la IA modifique textos y URLs sin aprobación previa del anunciante.
19/11/2026 12:17
Alphabet: el AI Mode llega a 75 millones de usuarios en el tercer trimestre
Google registra el mayor crecimiento de consultas en cinco años gracias a la IA, pero la monetización cae. Analizamos el impacto para el ecosistema we…
19/11/2026 11:20
Google: las búsquedas con IA son 3 veces más largas que las tradicionales
Google transforma el comportamiento de búsqueda con IA: consultas 3 veces más largas, descubrimiento temprano y el uso de datos privados para publicid…
19/11/2026 09:51