20 may 2011

Mapas mentales

Interactivo
3D
Realidad aumentada
videoclip multimedia interactivo
Videoclip
Título: You have no choice

vista de Instalación Gatointeractivo: pantalla- realidad aumentada

Mediante una webcam capturaremos frontalmente lo que sucede en el teatro, quedando el espectador en la parte trasera del teatro.
La proyección de lo que grabará en tiempo real la webcam se verá a través de un proyector sobre una pantalla, situado enfrente del teatro y el espectador.
Cuando el programa encuentre alguna de las marcas el batería empezará a tocar y la base musical quedará marcada por él, que aparecerá siempre en el centro del escenario y no será movible.
Sobre las marcas se proyectarán unos vídeos de los componentes, ya sean frontales o traseros, mientras suena el instrumento que ellos tocan. Si la marca desaparece del escenario, el sonido de dicho instrumento y la voz si es el caso, también dejará de oírse.


Limitaciones del FLARToolkit

FLARToolkit tiene también sus limitaciones. El FlashPlayer dispone de unos recursos limitados, debido a que funciona como una máquina virtual. Los algoritmos de Realidad Aumentada y tratamiento de imagen requieren muchísimo procesado y por ello, nuestro navegador puede verse saturado bajo ciertas condiciones.
La meta del tiempo real (sobre los 24-30 frames por segundo) es difícil de alcanzar.
En modelados complicados, de lento renderizado, también hacen caer los frames de nuestra webcam.
Normalmente cuando aparece el modelo 3D si visualizamos el visor de rendimiento que he añadido en la ventana se observa q oscila entre 7-14 fps.
La instalación que muestra la parte del usuario:

El usuario puede mover estas dos marcas a su gusto, girarlas, o quitarlas, y con ello hacer su propio videoclip. Apareciendo él por detrás, haciendo referencia metafóricamente a la letra de la canción, de que somos manejados, así como si los propios componentes del grupo fueran marionetas, y será el espectador el que decide que ver y que oir.


11 may 2011

Prueba con 4 Marcas + sonido para cada una

Después de varios días he conseguido tener la interactividad resuelta, 4 movieclips uno para cada marca, los que pertenecerían a la parte frontal y trasera de guitarra y bajo y el 5º que pertenecería a la batería, que estará fijo en el centro marcando la base de la canción.



Aquí se puede ver, con los clips de prueba que hice, que al girar cambia el clip, que si desaparece, ese instrumento deja de sonar y si aparece de nuevo continua por donde se había quedado.



9 may 2011

Hace unos dias conseguí poder cargar diferentes movieclips sobre varias marcas. Utilicé 2 mc diferentes y 2 marcas para hacer pruebas, y comprobar que puedo continuar con mi idea de que cada marca sea cada uno de los componentes de grupo, asi como otras 2 marcas para la parte trasera. Cuando se gire la marca, tambien girará el video, y se mostrará otro (el de la parte de atras de los componentes del grupo).

29 abr 2011

El objeto Matrix3D

Todos los objetos 3D en Papervision tienen una Matrix3D en la que se define su escala, inclinación, orientación, rotación, x, y, y z.

El valor por defecto de de las 4 columnas y las 4 filas es el siguiente:

Actionscript:
  1. 1, 0, 0, 0
  2. 0, 1, 0, 0
  3. 0, 0, 1, 0
  4. 0, 0, 0, 1

Estos valores se almacenan las propiedades de transformación del objeto 3D usando una “n”, un entero para el numero de fila y otro entero para el numero de columna, quedando de la siguiente manera:

Actionscript:
  1. n11, n12, n13, n14
  2. n21, n22, n23, n24
  3. n31, n32, n33, n34
  4. n41, n42, n43, n44


Escala, inclinación, orientación y rotación se manejan en las 3 primeras filas y columnas de la matriz, que podéis probar en el swf del link que dejo abajo.

Actionscript:
  1. 1, 0, 0
  2. 0, 1, 0
  3. 0, 0, 1

x, y, y z son manejadas en las 3 primeras filas de la última columna.

Actionscript:
  1. 0
  2. 0
  3. 0

La última fila se deja para poder hacer la multiplicación de la matriz.

Como funciona matrix3D