OpenAI se está uniendo al comité directivo de la Coalición para la Procedencia y la Autenticidad del Contenido (C2PA) e integrará los metadatos del estándar abierto en sus modelos de IA generativa para aumentar la transparencia en torno al contenido generado.
El estándar C2PA permite que el contenido digital sea certificado con metadatos que prueban sus orígenes, ya sea creado completamente por IA, editado usando herramientas de IA, o capturado de manera tradicional. OpenAI ya ha comenzado a agregar metadatos C2PA a las imágenes de la última versión del modelo DALL-E 3 en ChatGPT y la API de OpenAI. Los metadatos se integrarán en el próximo modelo de generación de video de OpenAI, Sora, cuando se lance de manera más amplia.
«Las personas aún pueden crear contenido engañoso sin esta información (o pueden eliminarla), pero no es fácil falsificar o alterar esta información, lo que la convierte en un recurso importante para generar confianza,» explicó OpenAI.
Esta medida llega en medio de crecientes preocupaciones sobre el potencial de que el contenido generado por IA engañe a los votantes antes de las principales elecciones en Estados Unidos, Reino Unido y otros países este año. Autenticar los medios creados por IA podría ayudar a combatir los deepfakes y otros contenidos manipulados destinados a campañas de desinformación.
Si bien las medidas técnicas son útiles, OpenAI reconoce que habilitar la autenticidad del contenido en la práctica requiere una acción colectiva de plataformas, creadores y manejadores de contenido para mantener los metadatos para los consumidores finales.
Además de la integración con C2PA, OpenAI está desarrollando nuevos métodos de procedencia, como el marcado de agua resistente a manipulaciones para clasificadores de detección de audio e imágenes para identificar visuales generados por IA.
OpenAI ha abierto solicitudes para acceder a su clasificador de detección de imágenes de DALL-E 3 a través de su Programa de Acceso para Investigadores. La herramienta predice la probabilidad de que una imagen se haya originado a partir de uno de los modelos de OpenAI.
«Nuestro objetivo es permitir la investigación independiente que evalúe la efectividad del clasificador, analice su aplicación en el mundo real, descubra consideraciones relevantes para dicho uso y explore las características del contenido generado por IA», dijo la compañía.
Las pruebas internas muestran una alta precisión al distinguir imágenes no generadas por IA de las visuales de DALL-E 3, con alrededor del 98% de las imágenes de DALL-E correctamente identificadas y menos del 0.5% de las imágenes no generadas por IA incorrectamente señaladas. Sin embargo, el clasificador tiene más dificultades para diferenciar entre imágenes producidas por DALL-E y otros modelos de IA generativa.
OpenAI también ha incorporado el marcado de agua en su modelo de voz personalizado Voice Engine, que actualmente está en vista previa limitada.
La compañía cree que una mayor adopción de los estándares de procedencia permitirá que los metadatos acompañen al contenido a lo largo de todo su ciclo de vida para llenar «un vacío crucial en las prácticas de autenticidad del contenido digital.»
OpenAI se está uniendo a Microsoft para lanzar un fondo de resiliencia social de 2 millones de dólares para apoyar la educación y comprensión de la IA, incluso a través de AARP, International IDEA y la Partnership on AI.
«Si bien las soluciones técnicas como las anteriores nos proporcionan herramientas activas para nuestras defensas, habilitar efectivamente la autenticidad del contenido en la práctica requerirá una acción colectiva,» afirma OpenAI.
«Nuestros esfuerzos en torno a la procedencia son solo una parte de un esfuerzo más amplio de la industria; muchos de nuestros laboratorios de investigación y empresas de IA generativa también están avanzando en la investigación en esta área. Elogiamos estos esfuerzos: la industria debe colaborar y compartir conocimientos para mejorar nuestra comprensión y continuar promoviendo la transparencia en línea.»
