Herramientas de IA para la producción audiovisual

Producción IA

IA generativa para la producción de imágenes

Esto es obvio hoy, y hemos estado convencidos de ello durante un tiempo en las imágenes de Plaine: la inteligencia artificial necesariamente afectará las profesiones, los procesos, la capacitación y la vida cotidiana de los estudiantes, empresarios y empresarios y colaboradores y colaboradores de nuestro ecosistema.

Volviendo al primer IAPÉRO de las imágenes Plaine, un evento mensual diseñado por y para profesionales en las industrias culturales y creativas.

Para esta primera edición, recibimos a Julien Frisch, ex incubado, consultor en IA, y uno de los referentes de BPI de Francia para el programa IA Booster France 2030 , y Rémi Auguste, médico de computador años.

La inteligencia artificial generativa ofrece oportunidades de reducción de costos crecientes para el sector minorista, grandes proveedores de imágenes comerciales.

Históricamente, las empresas minoristas tuvieron que orquestar sesiones de fotos, involucrando el transporte de miles de productos a lugares especialmente alquilados para la ocasión, situación, gestión de iluminación, toma de fotos, trabajos de posproducción, etc. Con IA, Rémi Auguste nos presenta en detalle las herramientas con las herramientas con las herramientas con que reelabora el flujo de trabajo de esta producción sustancial:

Iowa
En resumen, los productos ahora se fotografían en un estudio clásico y prácticamente integrados en diferentes contextos, gracias a las soluciones de IA. Pero, ¿qué herramientas para cada paso? Una pequeña revisión es esencial, con una predilección por el software de código abierto:

Ia cortando

Se puede llevar a cabo casi al instante gracias a los servicios de Internet gratuitos (una investigación simple "eliminar antecedentes"), pero algunas herramientas alcanzan los estándares profesionales esperados, como removeBG .

Cualquier segmento de modelo (SAM) , un nuevo modelo de IA desarrollado por Meta R&D, le permite cortar cualquier objeto, en cualquier imagen, en un solo clic, gracias a la discriminación semántica. En el lado del software de código abierto, Yolo es una buena alternativa.

Escenas producidas por IA

Para crear imágenes en las que se ajuste el producto fotografiado, use o flujo estable . Las alternativas comerciales son MidJourney , Dall-E, + Difusión estable Webui Forge . En realidad, cada herramienta tiene sus peculiaridades de control y representación de la salida : el flujo es una elección de primer orden si desea controlar finamente las especificidades deseadas en su generación.

Estas herramientas también administran el lujo de la imagen (agregando píxeles), esenciales para una representación profesional o para ciertos servicios, como la impresión.

Videos con AI

Existen múltiples soluciones, pero aquí hay una selección probada y aprobada:

  • Pista de pasarela para representaciones cinematográficas
  • Cogvideo de código abierto
  • Kling , que te permite animar imágenes estáticas
  • Sintesia , que genera avatares a partir de una voz en off


Saber cómo usar la lora

Además de esta primera pila de herramientas, Rémi Auguste nos ofrece un paréntesis sobre una forma de ir más allá con los modelos generativos: el Lora.

El Lora significaba una adaptación de bajo esquilamiento y corresponde a un método para crear submodelos de luz que se injertarán en los modelos de IA existentes, como una difusión estable. ¿Interés? En lugar de causar un modelo completo, con los requisitos de procesamiento de datos que lo acompañan, Loras le permite agregar nuevos estilos de superposición, con solo 10 a 20 MB de parámetros adicionales. El entrenamiento se puede hacer con un mínimo de 10 imágenes y tendrá el dominio de una pequeña colección de objetos.

Esta forma de hacer un ajuste fino es apreciable para aquellos que desean un estilo bien determinado y reconocido (¡piense en el renderizado de LEGO, por ejemplo!), Libreros como Hugging Face (entre otros) que ofrecen una selección de Lora preconcebida.


IA generativa para el procesamiento de sonido

En el lado de la síntesis vocal, el progreso ha sido exponencial en los últimos años: el enfoque de las herramientas ha sido concatenativo durante mucho tiempo, es decir que alineamos fonemas moderando las sílabas en los sonidos, que era efectivo pero muy antinatural. Ahora, la IA generativa permite una representación mucho más eficiente. ElevenLabs es una de las herramientas insignia en el mercado e incluye una multitud de características para dar voz a sus proyectos.

Transformar el texto en sonido con AI

ElevenLabs le permite tratar un flujo de texto para que sea un audio cualitativo, que se llama texto a voz .

 

La herramienta permite muchos usos alrededor de la voz, entrenando en su propia voz (a través de lo que se llama clonación) para que la representación sea lo más natural posible. Por lo tanto, le permite administrar:

  • Síntesis vocal "clásica", con la posibilidad de traducirse directamente a otro idioma
  • Voz y doblaje
  • La rápida creación de audiolibro

La clonación en una voz se realiza en 1:30 a 2 p.m., porque tienes que entrenar al modelo para aprehender la voz ofreciendo un conjunto de audio. Entonces, nada podría ser más simple, la herramienta genera la producción deseada en unos segundos.

Once laboratorios
Un ejemplo de una posible configuración en once laboratorios

Sincronización labial con IA

VideoLetalking es un modelo de código abierto para editar las caras de un video para que los labios cobren vida en sincronía con un nuevo audio.

Videotalaje

Animación de imágenes por video con AI

Varias herramientas de código abierto aceleran parte del trabajo de animación:

  • Aniportrait le permite animar las líneas de una imagen estática desde un audio o un video
  • El-Portraito de Live Effient le permite animar las características de una imagen clonando las características de un video
  • LivePorTrait se especializa en la animación de pintura:

Usted ha entendido, hay una profusión de herramientas que deberían dirigirse de acuerdo con su uso: ¡este es uno de los deseos de las imágenes Iaméros Plaine, pero no las únicas! 

En futuras reuniones, nos centraremos particularmente en un uso, un problema, un caso virtuoso o una demostración de herramientas ... ¡para que esta reunión mensual sea un poderoso vector de transformación para profesionales audiovisuales!

¿Quieres seguir las noticias de la industria audiovisual?

Servicio en espera

Suscríbase a nuestra
carta de monitoreo audiovisual

: descifrado de noticias, tendencias, cambios actuales en la industria, desarrollo del mercado y tecnología ... ¡para leer cada mes!

¡No te pierdas el próximo iapéro!

Próxima reunión pronto ...

Nuestros eventos se anuncian todos los meses en nuestro boletín y cada semana en nuestras redes sociales. 

bienvenido