EleutherAI lanza conjunto masivo de datos de entrenamiento para IA con licencia

Revolución en datos de entrenamiento para inteligencia artificial

La organización de investigación EleutherAI ha lanzado The Common Pile v0.1, uno de los mayores conjuntos de datos de texto con licencia y dominio público para entrenar modelos de IA. Este desarrollo llega en medio de crecientes demandas por derechos de autor en el sector.

Características clave del proyecto

• Tamaño: 8 terabytes de datos
• Duración del desarrollo: 2 años
• Modelos entrenados: Comma v0.1-1T y Comma v0.1-2T
• Parámetros: 7 mil millones cada modelo

Colaboradores y fuentes legales

El conjunto de datos fue creado en colaboración con nuevas empresas de IA como Poolside y Hugging Face, junto con instituciones académicas. Se utilizaron fuentes legales que incluyen:

• 300,000 libros de dominio público digitalizados por la Biblioteca del Congreso
• Contenido del Archivo de Internet
• Transcripciones de audio generadas con Whisper, modelo de código abierto de OpenAI

Impacto en la industria y transparencia

Stella Biderman, directora ejecutiva de EleutherAI, destacó: «Las demandas por derechos de autor han disminuido drásticamente la transparencia de las empresas de IA». Los modelos entrenados con The Common Pile v0.1 igualan el rendimiento de alternativas propietarias en pruebas de:

• Codificación
• Comprensión de imágenes
• Matemáticas

Disponibilidad y futuro

The Common Pile v0.1 está disponible en Hugging Face y GitHub. EleutherAI se compromete a lanzar conjuntos de datos abiertos con mayor frecuencia en el futuro, corrigiendo así su anterior colección The Pile que incluía material con derechos de autor.