Cuando Brett Levenson dejó Apple en 2019 para liderar la integridad empresarial en Facebook, la red social estaba inmersa en las consecuencias del escándalo de Cambridge Analytica. En ese momento, pensó que podía solucionar el problema de moderación de contenido con mejor tecnología.
Sin embargo, rápidamente aprendió que el problema era más profundo. Los revisores humanos tenían que memorizar un documento de políticas de 40 páginas traducido automáticamente a su idioma, y solo disponían de unos 30 segundos por contenido marcado para decidir si violaba las reglas y qué acción tomar. Según Levenson, estas decisiones rápidas eran solo «ligeramente mejores que un 50% de precisión».
La frustración de Levenson llevó a la idea de «política como código», una forma de convertir documentos de políticas estáticos en lógica ejecutable y actualizable. Esta visión resultó en la fundación de Moonbounce, que recaudó $12 millones en financiamiento este viernes. La ronda fue codirigida por Amplify Partners y StepStone Group.
Moonbounce trabaja con empresas para proporcionar una capa de seguridad adicional donde sea que se genere contenido, ya sea por un usuario o por IA. La compañía ha entrenado su propio modelo de lenguaje grande (LLM) para analizar políticas, evaluar el contenido en tiempo de ejecución, proporcionar una respuesta en 300 milisegundos o menos y tomar acción. Dependiendo del cliente, la acción podría ser ralentizar la distribución o bloquear contenido de alto riesgo al instante.
Actualmente, Moonbounce sirve a más de 40 millones de revisiones diarias y atiende a más de 100 millones de usuarios activos diarios. Entre sus clientes se encuentran la startup de compañeros IA Channel AI, la empresa de generación de imágenes y video Civitai, y las plataformas de roleplay Dippy AI y Moescape.
«La seguridad puede ser realmente un beneficio del producto», explicó Levenson. «Nunca lo ha sido porque siempre es algo que ocurre después, no algo que puedes integrar en tu producto. Y vemos que nuestros clientes encuentran formas innovadoras de usar nuestra tecnología para hacer de la seguridad un diferenciador».
Las empresas de IA enfrentan crecientes presiones legales y reputacionales después de que chatbots hayan sido acusados de dirigir a adolescentes hacia el suicidio, y generadores de imágenes como Grok de xAI hayan sido utilizados para crear imágenes íntimas no consentidas. Levenson señaló que las empresas buscan cada vez más ayuda externa para fortalecer su infraestructura de seguridad.
«La moderación de contenido siempre ha sido un problema que plagó a las grandes plataformas en línea, pero ahora con los LLM en el corazón de cada aplicación, este desafío es aún más abrumador», dijo Lenny Pruss, socio general de Amplify Partners.
Moonbounce, dirigida por Levenson y su ex colega de Apple Ash Bhardwaj, está desarrollando una capacidad llamada «dirección iterativa», en respuesta a casos como el suicidio en 2024 de un niño de 14 años en Florida que se obsesionó con un chatbot de Character AI. En lugar de una negativa directa, el sistema interceptaría la conversación y la redirigiría, modificando las indicaciones en tiempo real para impulsar al chatbot hacia una respuesta más solidaria.
«Esperamos poder añadir a nuestro conjunto de herramientas la capacidad de dirigir el chatbot en una mejor dirección para, esencialmente, tomar la indicación del usuario y modificarla para forzar al chatbot a ser no solo un oyente empático, sino un oyente útil en esas situaciones», afirmó Levenson.
Cuando se le preguntó sobre una posible adquisición por una empresa como Meta, Levenson reconoció lo bien que Moonbounce encajaría en la pila de su antiguo empleador, pero expresó preocupación por que la tecnología se restrinja. «Mis inversores me matarían por decir esto, pero odiaría que alguien nos compre y luego restrinja la tecnología. Como, ‘Ok, esto es nuestro ahora, y nadie más puede beneficiarse de ello'».
Con un equipo de 12 personas, Moonbounce continúa innovando para hacer de la moderación de contenido una parte integral y proactiva de la experiencia digital.
Estas buscando algo?
Nuestros Programas:
Al Ritmo de Miami Healthy
Aprende qué comer y cómo vivir mejor para elevar tu bienestar.
Despertando con Claudio María Domínguez
Reflexiones de espiritualidad, bienestar y conciencia Claudio María Domínguez
Misterios Ocultos
OVNIs, enigmas históricos y lo inexplicable contado por expertos.
Inmigrar a Miami
Tu puente a los Estados Unidos Te ayudamos a alcanzar tus sueños americanos con soluciones personalizada.
