IA y TouchDesigner: instalaciones generativas y reactivas

De lo pasivo a lo reactivo en las experiencias inmersivas

Las experiencias inmersivas pueden utilizar contenido preproducido, sistemas reactivos o una combinación de ambos. En una instalación reactiva, determinados elementos visuales, sonoros o físicos cambian a partir de datos como la presencia, la posición, el movimiento, el sonido o las acciones del público.

No todas las experiencias contemporáneas necesitan personalización o inteligencia artificial. La arquitectura debe seleccionarse de acuerdo con el concepto, el contexto, el presupuesto y el tipo de interacción requerido.

Una instalación reactiva puede utilizar sensores o dispositivos de entrada para obtener información sobre presencia, posición, movimiento, sonido o acciones concretas. El software procesa estos datos y modifica determinados parámetros visuales, sonoros o físicos.

La tecnología generativa y la inteligencia artificial son opciones de implementación, pero no son indispensables para construir una experiencia reactiva.

La reactividad permite que el contenido cambie de acuerdo con las acciones o la presencia del público. Esto puede hacer visible la relación entre una entrada —como el movimiento— y una respuesta del sistema.

La interactividad no garantiza engagement, memorabilidad ni una conexión emocional con la marca. Estos resultados deben medirse mediante indicadores definidos para cada proyecto.

Estas arquitecturas pueden combinar software en tiempo real, sensores, protocolos de comunicación y sistemas de salida. Cuando el proyecto lo requiere, también pueden integrar modelos de visión por computadora o de generación de contenido.

El seguimiento de personas y el análisis de gestos pueden implementarse mediante machine learning, pero la modificación posterior de gráficos puede realizarse con reglas, shaders o sistemas procedurales sin utilizar IA generativa.

¿Qué es una instalación generativa reactiva?

Una instalación generativa reactiva modifica o produce contenido a partir de datos de entrada y reglas definidas por el sistema. La generación puede ser procedural —mediante algoritmos, partículas, shaders o parámetros— o puede utilizar un modelo de IA generativa.

El resultado puede variar entre interacciones, pero no necesariamente será único: una misma combinación de entradas y reglas puede producir resultados iguales o similares.

Una instalación reactiva puede incluir dispositivos de entrada, una capa de procesamiento y sistemas de salida. Las entradas pueden provenir de cámaras, micrófonos, sensores de profundidad, botones u otros dispositivos. El software transforma esos datos de acuerdo con la lógica diseñada y envía el resultado a pantallas, proyectores, sistemas de audio, iluminación o actuadores.

El comportamiento debe documentarse mediante un flujo claro de entrada, procesamiento y salida.

Para una marca, una instalación reactiva puede utilizarse para mostrar una relación visible entre la acción del participante y el contenido de la experiencia. Su conveniencia depende del objetivo, el espacio, la audiencia, la operación y las métricas de la campaña.

La instalación no garantiza mayor recordación, percepción positiva, generación de contenido ni alcance orgánico. Estos resultados requieren una estrategia de distribución y un método de medición independiente del sistema interactivo.

TouchDesigner: desarrollo visual y procesamiento en tiempo real

TouchDesigner es una plataforma de desarrollo visual que puede utilizarse para construir sistemas interactivos, contenido audiovisual en tiempo real, proyecciones e instalaciones. Su arquitectura basada en operadores permite procesar imágenes, geometría, audio, datos y señales de control dentro de un mismo proyecto.

TouchDesigner organiza gran parte del proyecto mediante operadores conectados en redes. Este enfoque permite visualizar el flujo de datos, pero no elimina la necesidad de programación. Los proyectos pueden requerir Python, GLSL, configuración de protocolos, optimización y desarrollo de componentes personalizados.

La velocidad de prototipado depende de la experiencia del equipo y de la complejidad de las integraciones.

TouchDesigner puede procesar y renderizar contenido en tiempo real, así como recibir datos desde cámaras, dispositivos MIDI, sensores y protocolos como OSC o Art-Net. La compatibilidad con cada equipo o plataforma depende de sus controladores, APIs, protocolos y componentes disponibles.

La respuesta no es instantánea: la latencia total depende de la captura, el procesamiento, la comunicación, el renderizado y el sistema de visualización.

El piso interactivo desarrollado para Coca-Cola utilizó TouchDesigner para la experiencia visual y MediaPipe para obtener datos de seguimiento mediante cámaras. El sistema utilizaba información de posición y movimiento para modificar gráficos procedurales en tiempo real.

Este caso combina machine learning para la detección corporal con generación visual procedural. No debe presentarse como un ejemplo de IA generativa, porque el contenido no era producido por un modelo generativo.

TouchDesigner puede gestionar estados, modificar parámetros a partir de datos y ejecutar lógica mediante operadores, Python o GLSL. Los shaders permiten desarrollar procesamiento y renderizado personalizado, pero su rendimiento depende de la implementación, el hardware y la resolución de salida.

La plataforma puede formar parte del sistema completo de una instalación, junto con otros servicios, aplicaciones y dispositivos.

‍

Integrar inteligencia artificial: más allá de la programación tradicional

La inteligencia artificial puede incorporarse cuando el proyecto necesita una tarea como clasificación, detección, generación de contenido o procesamiento de lenguaje. El modelo recibe datos y produce una salida que posteriormente puede utilizar TouchDesigner para modificar la experiencia.

El uso de IA no implica que la instalación comprenda su entorno, aprenda durante la activación o se adapte por sí sola. Estas capacidades solo existen cuando han sido diseñadas e implementadas específicamente. Esto se logra a través de diversas ramas de la IA:

Visión por computadora: puede utilizarse para detectar objetos, personas, rostros, manos, poses o landmarks dentro de imágenes y video. La salida depende del modelo seleccionado y de las condiciones de captura. Detectar rasgos o expresiones faciales no significa comprender el entorno ni conocer las emociones, intenciones o preferencias de una persona. Por ejemplo, en un proyecto de Cinética Studio para Coca-Cola, desarrollamos un piso interactivo donde la visión por computadora, a través de MediaPipe y webcams, detectaba y trackeaba la posición de cada usuario. Esto permitía que los gráficos generativos en tiempo real se modificaran visualmente según el movimiento y la cantidad de personas, creando una experiencia dinámica y reactiva.

Procesamiento de lenguaje natural: puede utilizarse para clasificar, interpretar o generar texto. Una interacción por voz también requiere captura de audio y, normalmente, un sistema de reconocimiento de voz que convierte la señal en texto antes de procesarla.

Modelos generativos: pueden producir imágenes, texto, audio u otros contenidos condicionados por instrucciones y datos de entrada. Su uso en tiempo real depende de la latencia, el hardware, la conectividad, el costo de inferencia y los mecanismos de moderación. No debe afirmarse que el sistema conoce el estado de ánimo del participante. La personalización debe basarse en elecciones explícitas o señales técnicas claramente definidas.

La relación entre TouchDesigner y la IA consiste en que la plataforma puede integrar y visualizar datos procesados por modelos de IA. Por ejemplo, puede recibir coordenadas de movimiento, detección de rostros o análisis de posturas de un sistema de visión por computadora y utilizarlos como parámetros para modificar elementos visuales, sonoros o lumínicos. TouchDesigner también puede recibir la salida de un modelo o servicio como entrada para modificar contenido. La comunicación solo es bidireccional cuando TouchDesigner envía datos o instrucciones de regreso al sistema externo.

Del concepto a la interacción en tiempo real

La creación de una instalación generativa reactiva, especialmente cuando integra IA y TouchDesigner, puede requerir la participación de perfiles de diseño, arte, ingeniería de software y datos. El proceso consiste en convertir una idea en un sistema que reciba entradas, las procese y produzca una respuesta definida.

El primer paso es conceptualizar y diseñar la interacción. Se define qué tipo de experiencia se busca, qué datos se utilizarán como entradas —por ejemplo, movimiento, sonido, datos biométricos o información ambiental— y cómo responderá la instalación. También se describen los flujos de interacción y las posibles decisiones visuales o sonoras. En un piso interactivo que reacciona al movimiento, por ejemplo, debe definirse cómo cambiarán los gráficos según la posición y el desplazamiento de las personas.

Después se seleccionan y configuran los sensores y las entradas. Esto implica elegir tecnologías adecuadas para capturar los datos necesarios, desde cámaras y micrófonos hasta sensores de profundidad o dispositivos de seguimiento de movimiento. En un piso interactivo pueden emplearse cámaras y modelos de visión por computadora, como MediaPipe, para obtener datos de posición o movimiento dentro del espacio.

La siguiente fase es el desarrollo del sistema generativo en TouchDesigner. Aquí los datos capturados se transforman en elementos visuales o sonoros. Se pueden construir redes de operadores —TOPs, CHOPs, SOPs y DATs— para procesar la información de los sensores. Por ejemplo, los datos de seguimiento pueden modular parámetros de gráficos procedurales para que el contenido responda al recorrido de las personas. Esta etapa también puede incluir la lógica de la experiencia y la integración de modelos de IA cuando cumplen una función definida.

Finalmente, se realiza el montaje, la calibración y la validación en sitio. Deben comprobarse el área de detección, las oclusiones, la iluminación, la cantidad de usuarios, la resolución, la frecuencia de cuadros, la latencia de extremo a extremo y los mecanismos de recuperación.

El objetivo no es eliminar por completo la latencia, sino mantenerla dentro de un rango adecuado para la interacción.

Casos de Cinética Studio: percepción y generación con TouchDesigner

El piso interactivo desarrollado para Coca-Cola muestra un flujo basado en percepción. MediaPipe obtenía datos de posición y seguimiento mediante cámaras, mientras TouchDesigner utilizaba esa información para modificar gráficos procedurales en tiempo real. El proyecto empleaba machine learning para detectar a las personas, pero no utilizaba IA generativa para producir el contenido visual.

En una experiencia fotográfica desarrollada para un evento de YouTube dirigido a creadores de contenido, los participantes seleccionaban un perfil musical y posaban frente a una cámara. TouchDesigner gestionaba la lógica y la presentación de la experiencia, mientras un flujo basado en SDXL generaba una imagen relacionada con la selección del usuario.

Los dos casos muestran funciones diferentes de la IA: en Coca-Cola, un modelo apoyaba la detección corporal; en YouTube, un modelo generativo intervenía directamente en la producción de la imagen final.

Desafíos y consideraciones al implementar instalaciones generativas con IA

Las instalaciones generativas que integran IA y TouchDesigner pueden involucrar decisiones técnicas y operativas adicionales. Identificar estos factores desde la definición del proyecto ayuda a establecer un alcance, una arquitectura y criterios de validación realistas.

Uno de los retos es el rendimiento. La generación de gráficos en tiempo real y los modelos de IA pueden requerir recursos de cómputo relevantes, según la complejidad, la resolución, el número de entradas y la frecuencia de actualización. El rendimiento debe comprobarse con el hardware, los contenidos y las condiciones de operación previstos. La optimización puede incluir revisar redes de operadores, scripts, resolución, carga de GPU y mecanismos de degradación controlada.

La captura y calibración de sensores es otra consideración relevante. Cámaras, sensores de profundidad y micrófonos pueden verse afectados por la iluminación, las oclusiones, el ruido, la distancia y la disposición del espacio. En el piso interactivo para Coca-Cola se utilizaron cámaras y MediaPipe para obtener datos de seguimiento. En el mural interactivo para NESTLÉ NAN se emplearon sensores LiDAR para detectar la interacción en la superficie. Estos casos muestran que el tipo de sensor debe seleccionarse según la interacción requerida. La validación en sitio debe comprobar qué condiciones afectan la captura y qué respuesta tendrá el sistema cuando la entrada sea incompleta o inestable.

La escalabilidad es una consideración cuando una experiencia se replicará o se adaptará a distintos espacios. Un diseño modular y una arquitectura parametrizable pueden facilitar ajustes de pantallas, sensores, resoluciones o número de usuarios, pero no eliminan la necesidad de validar cada montaje. Si se utilizan modelos de IA, también deben definirse la versión del modelo, los datos de entrada, los recursos de inferencia y el procedimiento para actualizar la configuración.

La integración de IA también requiere decisiones concretas: qué tarea realizará el modelo, qué datos recibirá, cómo se evaluará su salida y qué ocurrirá ante errores, demoras o resultados no utilizables. No todos los proyectos requieren entrenamiento o ajuste fino; muchos pueden utilizar modelos o servicios existentes con configuraciones y límites definidos. La comunicación con TouchDesigner debe documentar protocolos, formatos de datos, tiempos de espera, reintentos y alternativas de respaldo. La IA puede aportar una función al sistema, pero no garantiza por sí misma resultados creativos, predecibles o adecuados.

Conclusión: elegir la arquitectura adecuada para cada interacción

TouchDesigner puede coordinar sensores, datos, gráficos y sistemas de salida dentro de una instalación reactiva. Cuando el proyecto necesita detección, clasificación o generación de contenido, también puede integrarse con modelos de inteligencia artificial.

La IA no es un requisito para crear gráficos generativos ni para construir una instalación interactiva. Su uso debe responder a una función concreta, validarse mediante pruebas y contemplar latencia, hardware, privacidad, moderación y mecanismos de respaldo.

En Cinética Studio, este análisis forma parte de la definición de arquitectura de cada experiencia: se diferencian la generación procedural, la visión por computadora y la IA generativa para decidir qué función cumplirá cada componente.

Preguntas frecuentes

¿Qué diferencia existe entre gráficos generativos e IA generativa?
Los gráficos generativos pueden producirse mediante reglas, shaders, partículas o algoritmos procedurales. La IA generativa utiliza modelos entrenados para producir contenido sintético a partir de instrucciones o datos de entrada.

¿Cómo se utiliza TouchDesigner en estas instalaciones?
TouchDesigner puede recibir datos de sensores, ejecutar lógica, procesar contenido audiovisual y controlar sistemas de salida. También puede comunicarse con modelos o servicios externos de IA cuando el proyecto lo requiere.

¿Qué papel puede desempeñar la inteligencia artificial?
Puede utilizarse para tareas concretas como detección corporal, clasificación, procesamiento de lenguaje o generación de imágenes. Su función debe definirse y validarse para cada experiencia.

¿La IA garantiza una experiencia personalizada?
No. La personalización requiere establecer qué datos se utilizarán, cómo se convertirán en decisiones y qué límites tendrá el sistema. También deben considerarse el consentimiento, la privacidad y la revisión de resultados.

¿Qué proyectos de Cinética Studio combinan IA y TouchDesigner?
El piso interactivo para Coca-Cola utilizó MediaPipe para detectar la posición de las personas y TouchDesigner para modificar gráficos procedurales. En una experiencia fotográfica para YouTube, TouchDesigner gestionó la interacción y un flujo basado en SDXL generó imágenes relacionadas con las elecciones de los participantes.

‍

‍