Cloudflare presenta la herramienta de auditoría de IA para evitar que los robots de IA de extracción de datos accedan a sitios web

Cloudflare ha presentado AI Audit, una nueva herramienta diseñada para brindar a los propietarios de sitios web y blogueros más control sobre su contenido y cómo lo utilizan los sistemas automatizados. La herramienta de seguridad ayudará a los usuarios a bloquear o permitir que los robots de inteligencia artificial (IA) que a menudo rastrean sitios web eliminen datos. La empresa proporciona esta herramienta a todos los clientes existentes sin coste adicional. Cloudflare también está agregando una función que permite a los propietarios de sitios web ver información detallada sobre qué bots están visitando la plataforma y sus patrones de comportamiento.

Con la creciente popularidad de la tecnología impulsada por la IA, ha habido una prisa por entrenar modelos lingüísticos (LLM) a gran escala con datos generados por humanos. Esto es importante no sólo para crear un modelo básico sino también para desarrollarlo y mejorarlo. Sin embargo, el problema principal aquí es el acceso a fuentes de datos disponibles públicamente. La mayoría de las empresas de IA ya han analizado estos conjuntos de datos y ahora necesitan más datos para entrenar modelos de IA.

Los robots de IA están diseñados para ayudar a los desarrolladores a recopilar más datos para entrenar modelos de IA. Pueden entenderse como programas programados que simulan un usuario real que puede acceder a sitios web y copiar datos de texto, imágenes y vídeos. Estos robots de IA pueden digerir una gran cantidad de datos en un corto período de tiempo y alimentarlos al modelo de IA. Recientemente, varias empresas de medios y sitios web importantes han presentado demandas contra empresas de inteligencia artificial, acusándolas de manipular y utilizar datos ilegales para alimentar a los LLM.

La herramienta Cloudflare AI Audit viene como una capa protectora que puede evitar que dichos bots accedan a sitios web. La empresa reveló sobre presione soltar También ha realizado mejoras en la aplicación para brindar a los usuarios más control sobre qué bots se bloquearán y a qué bots se les permitirá el acceso. Esto es útil en los casos en que la plataforma ha llegado a un acuerdo con una empresa de inteligencia artificial y no le importa que sus bots tomen datos. Además, es posible que el propietario del sitio desee brindar acceso a ciertos tipos de IA que proporcionan una fuente de datos para obtener un mejor acceso.

Cloudflare señaló que también está creando una función donde los propietarios de sitios web pueden fijar un precio justo por su contenido. Los propietarios de bots de IA, por otro lado, podrán interactuar con este firewall y una vez pagado el dinero, se les dará derecho a revisar el contenido. La compañía enfatiza que su herramienta similar a un mercado puede ser útil para los usuarios que no tienen el ancho de banda o los recursos para comunicarse y hacer tratos con todas las empresas de inteligencia artificial que se acercan a su sitio.