OpenAI ha comunicado que incorporará una "señal compartida" dentro del archivo robots.txt, el mecanismo tradicional que los sitios web usan para indicar a los rastreadores qué partes de su contenido pueden ser indexadas.
Esta señal permitirá a los administradores indicar explícitamente si desean que su contenido sea utilizado o no para entrenar sistemas de inteligencia artificial. Cuando un sitio incluya la directiva correspondiente, los proveedores que participen en el programa de OpenAI respetarán esa preferencia y excluirán esas páginas del proceso de recopilación de datos.
El objetivo es dar mayor control a los creadores de contenido y reducir la controversia sobre el uso no autorizado de datos en la formación de modelos de lenguaje. La iniciativa se basa en un estándar abierto que ya está siendo adoptado por otras empresas de IA, lo que facilita una aplicación coherente a nivel global.
Para los operadores de sitios web, la medida implica simplemente añadir una línea como "AI-Training: no" o "AI-Training: yes" dentro de su archivo robots.txt. Los rastreadores de OpenAI leerán esa directiva antes de extraer datos y actuarán de acuerdo con la preferencia indicada.
Esta política se suma a otras acciones de la compañía para mejorar la transparencia y el respeto a los derechos de los creadores, y se espera que mejore la confianza entre la industria de la IA y los propietarios de contenido en línea.