La IA generativa inventa cosas. Puede ser parcial. A veces, escupe texto tóxico. Entonces, ¿puede ser “seguro”?
Rick Caccia, director ejecutivo de TestigoAIcree que puede hacerlo.
“Asegurar los modelos de IA es un problema real, y es especialmente brillante para los investigadores de IA, pero es diferente de asegurar el uso”, dijo a TechCrunch Caccia, ex vicepresidente senior de marketing de Palo Alto Networks, en una entrevista. “Lo considero como un auto deportivo: tener un motor más potente (es decir, un modelo) no te compra nada a menos que también tengas buenos frenos y dirección. Los controles son tan importantes para una conducción rápida como el motor”.
Ciertamente existe una demanda de tales controles entre las empresas, que, si bien son cautelosamente optimistas sobre el potencial de la IA generativa para aumentar la productividad, están preocupadas por las limitaciones de la tecnología.
El cincuenta y uno por ciento de los directores ejecutivos están contratando para roles generativos relacionados con la IA que no existían hasta este año, según un informe de IBM. encuesta encuentra. Sin embargo, solo el 9% de las empresas dicen que están preparadas para gestionar las amenazas, incluidas las relacionadas con la privacidad y la propiedad intelectual, que surgen del uso de IA generativa, según Riskonnect. encuesta.
La plataforma de WitnessAI que intercepta la actividad entre los empleados y los modelos de IA generativos personalizados que está utilizando su empleador (no modelos cerrados detrás de una API como GPT-4 de OpenAI, sino más bien en la línea de Llama 3 de Meta) y aplica políticas y salvaguardas de mitigación de riesgos.
“Una de las promesas de la IA empresarial es que desbloquea y democratiza los datos empresariales para que los empleados puedan hacer mejor su trabajo. Pero desbloquear todos esos datos confidenciales demasiado bien –– o que se filtre o sea robado – es un problema”.
WitnessAI vende acceso a varios módulos, cada uno de los cuales se centra en abordar una forma diferente de riesgo generativo de IA. Uno permite a las organizaciones implementar reglas para evitar que el personal de determinados equipos utilice herramientas generativas impulsadas por IA de formas que no deberían (por ejemplo, preguntar sobre informes de ganancias previos al lanzamiento o pegar bases de código internas). Otro redacta información confidencial y de propiedad exclusiva de las indicaciones enviadas a los modelos e implementa técnicas para proteger a los modelos contra ataques que podrían obligarlos a salirse del guión.
“Creemos que la mejor manera de ayudar a las empresas es definir el problema de una manera que tenga sentido, por ejemplo, la adopción segura de la IA, y luego vender una solución que aborde el problema”, dijo Caccia. “El CISO quiere proteger la empresa y WitnessAI les ayuda a lograrlo garantizando la protección de los datos, evitando la inyección rápida y haciendo cumplir políticas basadas en la identidad. El director de privacidad quiere garantizar que se sigan las regulaciones existentes y futuras, y les damos visibilidad y una forma de informar sobre la actividad y el riesgo”.
Pero hay una cosa complicada con WitnessAI desde una perspectiva de privacidad: todos los datos pasan a través de su plataforma antes de llegar a un modelo. La empresa es transparente al respecto, ofreciendo incluso herramientas para monitorear a qué modelos acceden los empleados, las preguntas que hacen a los modelos y las respuestas que obtienen. Pero podría crear sus propios riesgos para la privacidad.
En respuesta a las preguntas sobre la política de privacidad de WitnessAI, Caccia dijo que la plataforma está “aislada” y encriptada para evitar que los secretos de los clientes salgan a la luz.
“Hemos creado una plataforma de latencia de milisegundos con separación regulatoria incorporada: un diseño único y aislado para proteger la actividad de IA empresarial de una manera que es fundamentalmente diferente de los habituales servicios de software como servicio multiinquilino”. él dijo. “Creamos una instancia separada de nuestra plataforma para cada cliente, cifrada con sus claves. Los datos de su actividad de IA están aislados de ellos, no podemos verlos”.
Quizás eso disipe los temores de los clientes. En cuanto a los trabajadores preocupado En cuanto al potencial de vigilancia de la plataforma WitnessAI, es una decisión más difícil.
Las encuestas muestran que las personas generalmente no aprecian que se controle su actividad en el lugar de trabajo, independientemente del motivo, y creen que afecta negativamente la moral de la empresa. Casi un tercio de los encuestados por Forbes encuesta dijeron que podrían considerar dejar sus trabajos si su empleador monitoreara su actividad y comunicaciones en línea.
Pero Caccia afirma que el interés en la plataforma de WitnessAI ha sido y sigue siendo fuerte, con una cartera de 25 primeros usuarios corporativos en su fase de prueba de concepto. (No estará disponible de forma generalizada hasta el tercer trimestre). Y, en un voto de confianza de los capitalistas de riesgo, WitnessAI ha recaudado 27,5 millones de dólares de Ballistic Ventures (que incubó WitnessAI) y GV, el brazo de riesgo corporativo de Google.
El plan es destinar el tramo de financiación al aumento del equipo de 18 personas de WitnessAI a 40 para finales de año. Sin duda, el crecimiento será clave para derrotar a los rivales de WitnessAI en el espacio incipiente de soluciones de gobernanza y cumplimiento de modelos, no solo de gigantes tecnológicos como AWS, Google y Salesforce, sino también de nuevas empresas como CalipsoAI.
“Hemos elaborado nuestro plan para llegar hasta bien entrado 2026, incluso si no tuviéramos ninguna venta, pero ya tenemos casi 20 veces la cartera necesaria para alcanzar nuestros objetivos de ventas este año”, dijo Caccia. “Esta es nuestra ronda de financiación inicial y nuestro lanzamiento público, pero la habilitación y el uso seguro de la IA es un área nueva, y todas nuestras características se están desarrollando con este nuevo mercado”.
