La rebelión contra los bots devoradores de datos
Los crawlers de IA se han convertido en una plaga para los desarrolladores de código abierto, quienes ahora combaten estas intrusiones con herramientas creativas y una dosis de ironía.
El problema: bots que ignoran las reglas
- Robot.txt ignorado: El 90% de los crawlers de IA no respetan este protocolo básico
- Impacto desproporcionado: Proyectos FOSS son «blancos frecuentes» por su infraestructura abierta
- Efecto colateral: Algunos sitios han sufrido caídas tipo DDoS por el tráfico masivo
«Es inútil bloquearlos: mienten, cambian identidad y usan proxies residenciales»
– Xe Iaso, creador de Anubis
Armas de defensa digital
La comunidad ha respondido con herramientas como Anubis, un proxy inverso que aplica pruebas de trabajo para diferenciar humanos de bots. Su nombre, inspirado en la mitología egipcia, incluye un toque humorístico: «Si pasas la prueba, aparece un Anubis anime sonriente».
Datos reveladores
- 2,000 estrellas en GitHub en solo 3 días
- 39 forks y 20 contribuyentes activos
- Prohibición temporal de IPs chinas en algunos casos
Contraataques creativos
Otras tácticas incluyen «Nepenthes», una herramienta que atrapa bots en laberintos de contenido falso, y AI Labyrinth de Cloudflare, que alimenta a los crawlers con datos irrelevantes.
«Necesitamos que los bots obtengan utilidad negativa de sus intrusiones»
– Usuario xyzal en Hacker News