rodillasuna startup que desarrolla herramientas para probar, evaluar y validar el rendimiento de modelos de IA, anunció hoy que ha recaudado 15 millones de dólares en una ronda de financiación liderada por Lobby Capital con la participación de SignalFire y Bloomberg Beta.
El nuevo dinero eleva el total recaudado por Kolena a $21 millones y se destinará a hacer crecer el equipo de investigación de la compañía, asociarse con los reguladores y expandir los esfuerzos de ventas y marketing de Kolena, dijo el cofundador y director ejecutivo Mohamed Elgendy a TechCrunch en una entrevista por correo electrónico.
«Los casos de uso de la IA son enormes, pero la IA carece de confianza tanto por parte de los constructores como del público», afirmó Elgendy. “Esta tecnología debe implementarse de manera que mejore, no empeore, las experiencias digitales. El genio no volverá a meterse en la botella, pero como industria podemos asegurarnos de cumplir los deseos correctos”.
Elgendy lanzó Kolena en 2021 con Andrew Shi y Gordon Hart, con quienes trabajó durante unos seis años en divisiones de inteligencia artificial en empresas como Amazon, Palantir, Rakuten y Synapse. A través de Kolena, el trío buscó construir un «marco de calidad de modelo» que ofreciera pruebas unitarias y pruebas de extremo a extremo para modelos en un paquete personalizable y amigable para las empresas.
«En primer lugar, queríamos ofrecer un nuevo marco para la calidad de los modelos, no sólo una herramienta que simplificara los enfoques actuales», afirmó Elgendy. “Kolena permite la ejecución continua de pruebas a nivel de unidad o escenario. También proporciona pruebas de un extremo a otro de todo el producto de inteligencia artificial y aprendizaje automático, no solo de sus subcomponentes”.
Con ese fin, Kolena puede proporcionar información para identificar lagunas en la cobertura de datos de pruebas del modelo de IA, afirma Elgendy. Y la plataforma incorpora funciones de gestión de riesgos que ayudan a rastrear los riesgos asociados con la implementación de un sistema de IA determinado (o sistemas, según sea el caso). Con la interfaz de usuario de Kolena, los usuarios pueden crear casos de prueba para evaluar el rendimiento de un modelo y ver posibles razones del bajo rendimiento de un modelo mientras comparan su rendimiento con otros modelos.
«Con Kolena, los equipos pueden gestionar y ejecutar pruebas para escenarios específicos que el producto de IA tendrá que afrontar, en lugar de aplicar una métrica ‘agregada’ general como una puntuación de precisión, que puede oscurecer los detalles de rendimiento de un modelo», dijo Elgendy. . “Por ejemplo, un modelo con un 95% de precisión en la detección de automóviles no es necesariamente mejor que uno con un 89% de precisión. Cada uno tiene sus propias fortalezas y debilidades; por ejemplo, detectar automóviles en diferentes condiciones climáticas o niveles de oclusión, detectar la orientación de un automóvil, etc.”
Si Kolena funciona como se anuncia, podría resultar útil para los científicos de datos que dedican mucho tiempo a crear modelos para impulsar aplicaciones de IA.
Créditos de imagen: rodillas
De acuerdo a un encuesta, los ingenieros de IA informan que dedican solo el 20% de su tiempo a analizar y desarrollar modelos, y el resto se destina a obtener y limpiar los datos utilizados para entrenarlos. Otro informe descubre que debido a los desafíos en el desarrollo de modelos de rendimiento precisos, solo alrededor del 54% de los modelos pasan del piloto a la producción.
Pero hay otros actores que crean herramientas para probar, monitorear y validar modelos. Además de empresas establecidas como Amazon, Google y Microsoft, varias nuevas empresas están probando nuevos enfoques para medir la precisión de los modelos antes (y después) de que entren en producción.
Prolific recaudó recientemente 32 millones de dólares para su plataforma de pruebas de estrés y entrenamiento de modelos de IA utilizando una red colaborativa de evaluadores. Mientras tanto, Robust Intelligence y Deepchecks están creando sus propios conjuntos de herramientas para que las empresas eviten fallas en los modelos de IA y las validen continuamente. Y Bobidi está recompensando a los desarrolladores por probar los modelos de IA de las empresas.
Pero Elgendy sostiene que la plataforma de Kolena es una de las pocas que permite a los clientes tomar «control total» sobre los tipos de datos, la lógica de evaluación y otros componentes que componen una prueba de modelo de IA. También enfatiza el enfoque de privacidad de Kolena, que elimina la necesidad de que los clientes carguen sus datos o modelos en la plataforma; Kolena solo almacena los resultados de las pruebas del modelo para futuras evaluaciones comparativas, que pueden eliminarse si se solicita.
«Minimizar el riesgo de un sistema de inteligencia artificial y aprendizaje automático requiere pruebas rigurosas antes de su implementación, pero las empresas no cuentan con herramientas o procesos sólidos para la validación de modelos», dijo Elgendy. Prueba de conceptos de aprendizaje automático. Kolena se centra en una evaluación de modelos integral y exhaustiva. Brindamos a los gerentes de aprendizaje automático, gerentes de producto y ejecutivos una visibilidad incomparable de la cobertura de pruebas de un modelo y los requisitos funcionales específicos del producto, permitiéndoles influir de manera efectiva en la calidad del producto desde el principio”.
Kolena, con sede en San Francisco, que tiene 28 empleados a tiempo completo, se negó a compartir la cantidad de clientes con los que trabaja actualmente. Pero Elgendy dijo que la compañía está adoptando un “enfoque selectivo” para asociarse con empresas de “misión crítica” por ahora y planea lanzar paquetes de equipo para organizaciones medianas y nuevas empresas de inteligencia artificial en etapa inicial en el segundo trimestre de 2024.
