La empresa matriz de TikTok, ByteDance, tiene una herramienta que limpia la web 25 veces más rápido que OpenAI

La empresa matriz de TikTok, ByteDance, recopila enormes cantidades de datos web más rápido que cualquier otro navegador web importante.

Es posible que ByteDance esté planeando publicar su LLM y utilizar agresivamente su navegador web “Bytespider” para recopilar datos para entrenar sus modelos. Fortuna informó.

Bytespider irrumpió en escena en abril y, desde entonces, su tasa de consumo ha avergonzado a los web scrapers de OpenAI, Google, Meta y Anthropic.

Sam Crowther, director ejecutivo de Kasada, una empresa que se especializa en la gestión de bots, dijo al medio que la velocidad de raspado de Bytespider es 25 veces más rápida que la del GPTbot de OpenAI y 3000 veces más rápida que la de ClaudeBot, que es el navegador web de Anthropic para Claude LLM. Crowther también dijo que los datos de Kasada han visto “enormes picos en la actividad de scraping” de Bytespider durante las últimas seis semanas.

Mientras Bytespider consume la web, el gobierno de EE. UU. está tratando de detener el posible acceso de datos de usuarios estadounidenses al gobierno chino. En abril, el presidente Biden firmó un proyecto de ley que obligaría a prohibir TikTok a menos que ByteDance lo venda dentro de un año. Dadas las horas que corre ByteDance para vender TikTok, la sensación de urgencia coincide con la enorme velocidad de la actividad de búsqueda web: ya sea para LLM, un mejor algoritmo o algo más, no lo sabemos.

Queda por ver qué planea hacer ByteDance con todos los datos recién extraídos. Pero TikTok ha lanzado varias funciones de inteligencia artificial para la plataforma. En mayo, anunció un conjunto de herramientas para que los anunciantes creen anuncios generados por IA y avatares generados por IA para marcas y creadores. Se dice que TikTok también funciona con un motor de búsqueda interno y los resultados funcionan con inteligencia artificial, posiblemente utilizando ChatGPT.