Cloudflare Revoluciona el Scraping: Editores Podrán Cobrar a Bots de IA

Nuevo Mercado de Cloudflare para Monetizar Contenido

Cloudflare, proveedor de infraestructura en la nube que sirve 20% de la web, anunció este martes el lanzamiento de Pay per Crawl, un mercado experimental que permite a los propietarios de sitios web cobrar a empresas de IA por el scraping de su contenido.

Control Total para Editores

• Opciones: Cobro por rastreo, acceso gratuito o bloqueo total
• Micropagos: Tarifas establecidas por cada crawl
• Nuevo estándar: Sitios nuevos en Cloudflare bloquearán bots de IA por defecto

Editores como Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK y Fortune ya implementaron bloqueos predeterminados, adoptando el enfoque de «permiso previo para crawling» promovido por Cloudflare.

Crisis en el Modelo Tradicional

Datos de junio revelan desequilibrios alarmantes:

• Google: 14 scrapings por cada referencia
• OpenAI: 17,000 scrapings por referencia
• Anthropic: 73,000 scrapings por referencia

Este modelo surge cuando agentes de IA de OpenAI y Google amenazan el tráfico web tradicional, extrayendo información directamente para usuarios.

Mecánica del Mercado

Ambas partes (editores y empresas de IA) necesitan cuentas Cloudflare para:

• Fijar tarifas de compra/venta por crawl
• Cloudflare como intermediario en transacciones
• Sin criptomonedas: Operaciones en moneda tradicional

Futuro Agéntico

Cloudflare visualiza agentes de IA realizando investigación profunda con presupuesto para adquirir contenido premium:

«Imagine dar a su programa de investigación un presupuesto para obtener el contenido más relevante»

Actualmente en beta privada, este modelo audaz enfrenta desafíos al convencer a empresas de IA que actualmente scrapen contenido gratuitamente.