Cuando Brett Levenson dejó Apple en 2019 para liderar la integridad empresarial en Facebook, la gigante de las redes sociales estaba inmersa en las secuelas del escándalo de Cambridge Analytica. En ese momento, pensó que podía solucionar el problema de moderación de contenido de Facebook simplemente con mejor tecnología.
Rápidamente aprendió que el problema era más profundo que la tecnología. Los revisores humanos debían memorizar un documento de políticas de 40 páginas que había sido traducido automáticamente a su idioma. Luego, tenían unos 30 segundos por contenido marcado para decidir no solo si violaba las reglas, sino qué hacer al respecto: bloquearlo, prohibir al usuario o limitar su difusión. Esas decisiones rápidas solo eran «ligeramente mejores que un 50% de precisión», según Levenson.
La frustración de Levenson condujo a la idea de «política como código» —una forma de convertir documentos de políticas estáticos en lógica ejecutable y actualizable estrechamente vinculada a la aplicación. Esta idea llevó a la fundación de Moonbounce, que anunció el viernes que ha recaudado $12 millones en financiación. La ronda fue codirigida por Amplify Partners y StepStone Group.
Moonbounce trabaja con empresas para proporcionar una capa de seguridad adicional donde sea que se genere contenido, ya sea por un usuario o por IA. La compañía ha entrenado su propio modelo de lenguaje grande (LLM) para examinar los documentos de políticas de un cliente, evaluar el contenido en tiempo de ejecución, proporcionar una respuesta en 300 milisegundos o menos y tomar acción. Dependiendo de la preferencia del cliente, esa acción podría ser que el sistema de Moonbounce ralentice la distribución mientras el contenido espera una revisión humana posterior, o que bloquee contenido de alto riesgo en el momento.
Moonbounce está soportando más de 40 millones de revisiones diarias y sirviendo a más de 100 millones de usuarios activos diarios en la plataforma. Los clientes incluyen la startup de compañeros de IA Channel AI, la empresa de generación de imágenes y video Civitai, y las plataformas de juego de roles con personajes Dippy AI y Moescape.
«La seguridad puede ser realmente un beneficio del producto», dijo Levenson. «Nunca lo ha sido porque siempre es algo que sucede después, no algo que puedas integrar en tu producto. Y vemos que nuestros clientes encuentran formas interesantes e innovadoras de usar nuestra tecnología para hacer de la seguridad un diferenciador».
Las empresas de IA enfrentan una creciente presión legal y reputacional después de que chatbots hayan sido acusados de empujar a adolescentes y usuarios vulnerables hacia el suicidio, y generadores de imágenes como Grok de xAI hayan sido usados para crear imágenes de desnudos no consensuados. Claramente, los guardarrailes de seguridad internos están fallando, y se está convirtiendo en una cuestión de responsabilidad. Levenson dijo que las empresas de IA buscan cada vez más ayuda externa para reforzar su infraestructura de seguridad.
«Somos un tercero sentado entre el usuario y el chatbot, por lo que nuestro sistema no está inundado de contexto como lo está el chat en sí», explicó Levenson. «El chatbot en sí tiene que recordar, potencialmente, decenas de miles de tokens que han llegado antes… Nosotros solo nos preocupamos por hacer cumplir las reglas en tiempo de ejecución».
Levenson dirige la empresa de 12 personas con su ex colega de Apple, Ash Bhardwaj. Su próximo enfoque es una capacidad llamada «iterative steering», desarrollada en respuesta a casos como el suicidio en 2024 de un niño de 14 años de Florida que se obsesionó con un chatbot de Character AI. En lugar de una negativa contundente cuando surgen temas dañinos, el sistema interceptaría la conversación y la redirigiría, modificando los mensajes en tiempo real para empujar al chatbot hacia una respuesta más activamente solidaria.
«Esperamos poder agregar a nuestro kit de herramientas de acciones la capacidad de dirigir el chatbot en una mejor dirección para, esencialmente, tomar el mensaje del usuario y modificarlo para obligar al chatbot a ser no solo un oyente empático, sino un oyente útil en esas situaciones», dijo Levenson.
Cuando se le preguntó si su estrategia de salida involucraba una adquisición por una empresa como Meta, llevando su trabajo en moderación de contenido de vuelta al punto de partida, Levenson reconoció lo bien que Moonbounce encajaría en la pila de su antiguo empleador, así como sus propias obligaciones fiduciarias como CEO.
«Mis inversores me matarían por decir esto, pero odiaría que alguien nos comprara y luego restringiera la tecnología. Como, ‘Esto es nuestro ahora, y nadie más puede beneficiarse de ello'»
Estas buscando algo?
Nuestros Programas:
Al Ritmo de Miami Healthy
Aprende qué comer y cómo vivir mejor para elevar tu bienestar.
Despertando con Claudio María Domínguez
Reflexiones de espiritualidad, bienestar y conciencia Claudio María Domínguez
Misterios Ocultos
OVNIs, enigmas históricos y lo inexplicable contado por expertos.
Inmigrar a Miami
Tu puente a los Estados Unidos Te ayudamos a alcanzar tus sueños americanos con soluciones personalizada.
