Cuando el equipo de TI del Parlamento Europeo desactivó discretamente las funciones de IA en los dispositivos del personal a principios de este año, la razón no era especulativa. Las funciones enviaban datos a la nube, y el equipo de seguridad del Parlamento decidió que ese era un riesgo que no podían aceptar para una institución que gestiona trabajos legislativos confidenciales.
La historia apenas se registró fuera de Bruselas, pero capturó algo con lo que la mayoría de los consumidores apenas empiezan a lidiar: los dispositivos de IA que entran en nuestros hogares, oficinas y escuelas no están todos construidos de la misma manera, y las diferencias ya no son triviales.
Los rumores de que Apple lanzará la próxima generación AirPods, que supuestamente incluirán cámaras, ahora están enfrentando un escrutinio similar, incluso antes del lanzamiento. La compañía ha dicho que el wearable no está diseñado para grabar o fotografiar a los usuarios, pero el hecho de que consumidores y periodistas se hicieran la pregunta de inmediato indica dónde se sitúa ahora la base de confianza.
Para los fundadores que desarrollan productos de IA para entornos cotidianos, este es un problema estratégico sin una respuesta sencilla: construye para la jurisdicción más estricta y reduces la velocidad, gastas más y ves cómo los competidores más rápidos te adelantan; Desarrolla lean, acepta el riesgo regulatorio y puede que te cierren las puertas de clientes empresariales, colegios o instituciones públicas antes de que puedas llamar.
Un puñado de empresas europeas ha decidido que el primer camino es el único viable, y su razonamiento ofrece un marco más claro para evaluar qué dispositivos de IA realmente pertenecen a los espacios más personales de los usuarios, más que cualquier directriz que hayan compartido los reguladores.
La elección de la arquitectura ocurre antes que el producto
Deep Care, una empresa alemana de salud laboral cuyo coach de IA Isa es ahora utilizado por cerca de 50.000 personas en más de 280 organizaciones, incluidas empresas Fortune 500, diseña su producto para trabajadores de oficina, ayudándoles a mejorar su postura y evitar problemas musculoesqueléticos que conllevan las largas horas frente a una pantalla.
En el contexto del creciente escrutinio de los dispositivos portátiles que cruzan espacios personales sensibles, la decisión de diseño definitoria se tomó antes de redactar la mayor parte de su producto; La primera versión del equipo utilizó una aplicación para smartphone, con cámaras, y fue probada por 100 usuarios. Noventa y dos dijeron que no lo querían.
«Me dijeron, mirad, me vigilan entre ocho y diez horas al día con un dispositivo conectado a internet y que tiene dos cámaras delante y tres cámaras detrás», explicó Milad Geravand, CEO y cofundador de Deep Care. «Estoy poniendo mis contraseñas. Lo ve todo. Ve lo que llevo puesto, lo que hay detrás de mí. Una solución así no tiene sentido.»
Deep Care sustituyó completamente el smartphone y la cámara por un sensor capaz de mapear el contorno 3D de un usuario —suficiente para seguir la postura y el movimiento— sin poder identificar quién es el usuario o qué hay en la habitación detrás de él. El producto se ejecuta fuera de línea, el análisis se realiza en el dispositivo y nada se envía a una nube, porque no hace falta que se envíe.
Esa decisión fue costosa. «Cambiar de una cámara a este sensor específico cuesta mucho más en hardware, pero esa es la parte pequeña. La mayor inversión fue construir todo desde cero: recopilar nuestros propios datos, entrenar todos los modelos de IA desde cero y desarrollar todo el sistema nosotros mismos, sin atajos disponibles», dice Geravend.
«Ejecutar todo el código localmente en el dispositivo para que la gente se sienta segura – eso nos cuesta más porque necesitamos un procesador mejor. Desarrollar una solución que aporte ese valor y que te haga sentir seguro y protegido nos cuesta más. Por lo tanto, necesitamos tener ese coste en nuestros precios.»
El enfoque más económico que adoptan otros productos de IA para el entorno laboral, argumenta, es estructuralmente más barato por una razón específica: «Poner un sensor barato y no seguro en el producto y transmitir todo a la nube es una decisión empresarial sencilla; reduce los costes del hardware y abre la puerta a la venta de esos datos a terceros para obtener ingresos significativos.»
Pero el precio que pagan los usuarios no se mide solo en euros. «O pagas con tu dinero, o pagas con tus datos», argumentó Geravend, añadiendo que aunque lo segundo parece libre, nunca lo es realmente. Una vez que los datos de un usuario están «disponibles», inevitablemente serán utilizados por aseguradoras, anunciantes y empleadores, por nombrar algunos.
«Lo que empezó como unos pocos euros en ahorros puede costarte mucho, mucho más, en silencio.»
Datos de voz infantil: El argumento para el listón más alto
Mientras tanto, el compañero de aprendizaje de IA para niños Buddy.ai tomado una decisión arquitectónica marcada por una limitación diferente pero relacionada: COPPA, la ley estadounidense de privacidad infantil, trata las grabaciones de voz como información personal identificable. Enrutar el habla de los niños a través de una API comercial de IA nunca fue una opción.
«Procesamos todo en nuestra propia infraestructura, en tiempo real, y desaparece antes de que un padre haya tenido siquiera la oportunidad de pensar en el consentimiento», dice Ivan Crewkov, fundador de la empresa. «¿Nos costó caro? Sí. Construir y mantener infraestructura de nube privada no es barato, y añade una carga de desarrollo que los usuarios comerciales de API simplemente no tienen.»
En cualquier caso, Crewkov recalcó que volvería a tomar la misma decisión porque, aunque los modelos de fundación avanzan rápido, los reguladores no. «La barra de cumplimiento es la misma exista o no GPT-5.»
Lo que no anticipó, sin embargo, fue cómo esa limitación se convirtió en un activo competitivo. Como la COPPA restringe la recogida de datos de voz infantil, la mayor parte del campo trabaja con conjuntos de datos de unas pocas centenas de horas. Buddy.ai ha acumulado decenas de miles invaluables.
Qué deberían preguntar realmente los compradores
Ambos fundadores, cuando se les preguntó qué deberían buscar los evaluadores, dieron respuestas más precisas que las que ofrecen actualmente la mayoría de las directrices públicas.
Para los equipos de compras, Geravand subrayó que la cuestión se resuelve en gran medida dentro de las empresas europeas, aunque no sea en el ámbito del consumidor. Los departamentos dedicados a la privacidad y seguridad de datos actúan como guardianes: un proveedor que no puede satisfacerlos no llega a la adquisición.
«Si hay algún no, no acabas en adquisiciones. Por supuesto, si hay un sí en todas partes, entonces empiezas a hablar de precios y duración del contrato.»
Las soluciones basadas en cámaras, según su experiencia, casi nunca superan este límite en los lugares de trabajo europeos porque el marco legal de la región exige que cualquier área monitorizada por cámara esté claramente señalizada, y la mayoría de los empleadores no quieren que se inicie una conversación así con los consejos de empresa.
Para los padres, el encuadre de Crewkov es más directo. «La única pregunta que me gustaría que todos los padres se hicieran es: ¿para qué es esto realmente? ¿Qué enseña? ¿Cuáles son los objetivos de aprendizaje? Si la gente detrás no puede responder tan claramente, eso te dice algo importante.»
Los productos con los que más desconfía, dice, son compañeros de IA de propósito general que se venden a niños sin un propósito educativo claro. «Los niños no necesitan un compañero IA. Necesitan a otros niños, juguetes y el mundo que les rodea.»
También señala una asimetría a la que los interesados en todos los ámbitos deberían prestar atención: organizaciones de certificación externas como kidSAFE, que auditan de forma independiente productos de IA infantil en EE. UU., no operan en todas partes. Para los usuarios —familias, en su caso— fuera de los mercados con esa infraestructura, el asesoramiento práctico no es nada glamuroso.
«Sé que [leer la política de privacidad] suena obvio, pero la mayoría de la gente no lo hace, y para un producto que escucha la voz de tu hijo, merece la pena los diez minutos.»
La implicación no se aplica solo a los tutores. De cara al futuro, los fundadores que buscan acceder a estos mercados deben saber que la privacidad va más allá de sus usuarios objetivo, especialmente en el caso de herramientas educativas, de tutoría o de compañía infantil. Cada vez más, se ejercerá más escrutinio sobre los criterios de privacidad claramente definidos, especialmente cuando estos no estén explícitamente establecidos por la ley.
Lo que los reguladores no pueden hacer
La arquitectura regulatoria europea, compuesta por el Reglamento General de Protección de Datos (RGPD), la Ley de IA de la UE y normas sectoriales sobre la supervisión en el lugar de trabajo, ha establecido un mínimo que ha moldeado de manera medible lo que pueden esperar consumidores, empleados y responsables de compras. Pero los edificios fundadores más cercanos a esa planta coinciden en algo que la propia regulación no puede ofrecer.
La elección de qué dispositivos de IA permiten los usuarios en sus hogares, equipos y habitaciones infantiles la toman finalmente ellos en el momento de la instalación, antes de que cualquier regulador pueda intervenir.
En este sentido, las preguntas que merece la pena plantearse no son complicadas: ¿qué necesita este dispositivo para funcionar? ¿Conexión a Internet, una cámara, aprendizaje persistente? ¿Los usuarios potenciales en una región o mercado objetivo poseen estos recursos accesibles?
Y, más conmovedor, ¿qué ocurre con los datos que recopila? ¿A dónde va? ¿Cuál es el modelo de negocio de la empresa y depende de hacer algo con los datos de los usuarios que se opongan si se leyeran en la letra pequeña?
No todas las respuestas tienen que ser perfectas, pero si una empresa no puede responderlas claramente, esa es la respuesta.
Artículo escrito por Ana Sofia Herazo en 150Sec. Versión en castellano para El Nacional
LO ROJO Y AZUL – CNP 25.973
