Larva - VJ and Mapping App

Entstanden in Application Design II // Larva ist eine iPad App für VJs. Sie bietet einn Mappingmodus mit Fotofunktion, womit der User einfach und mit wenigen Klicks eine Maske für sein Projection Mapping erstellen kann. Im VJ-Modus arbeitet der User mit Modulen, also individuell zusammengestellten Visuals.

Ideenfindung

Bei der Suche nach einer Grafiksoftware, die eines Redesigns und gar einer neuartigen App-Entwicklung würdig wäre, taten wir uns zugegebenermaßen etwas schwierig. 

Da wir aber sehr musikverbunden sind, kamen wir doch recht zügig auf die Idee, eine Application für Visual Jockey (VJs) zu konzipieren, da der Markt hier noch recht neu war, insbesondere für mobile Geräte wie Smartphones oder Tablets.
Musik Visualisierungen findet man zuhauf in allen erdenklichen Lokalitäten und Events. Sei es in der Diskothek, auf Galaveranstaltungen oder als Kunst- beziehungsweise Medieninstallationen in Ausstellungen, Museen oder im öffentlichen Raum. Sie sind die Eyecatcher, die Leute heranziehen und interessierte Blicke ernten.
Dabei unterstützen sie die Musik, helfen dem DJ, die Atmosphäre authentischer zu machen und fügen sich idealerweise in die Raumarchitektur mit ein um so das größtmögliche Potential auszuschöpfen.
Uns war schon von Beginn an klar, dass wir kein Redesign eines bereits existierenden Programms vornehmen , sonden eine eigene Application entwickeln wollten. Auf dem Markt existieren größtenteils Tools für Videomixing, das heißt der VJ arbeitet mit vorgefertigten Videoschleifen (Loops) und mischt diese ähnlich einem Audiotrack. Hierbei ist der große – und unserer Meinung nach sehr wichtige – Nachteil, dass die Visuals nicht audioreaktiv sein können. Das bedeutet, dass sie zwar die Raumautmopshäre an sich ändern und mit Sicherheit auch interessanter gestalten, sie können jedoch nicht die Musik unterstützen und so ein bestmögliches audiovisuelles Erlebnis erzeugen.
Es entwickelte sich also die Kernidee, eine mobile Application zu entwickeln, mit der Visuals vorbereitet und performt werden können, und das ohne ein reines Videomixingtool.

Recherche

Bei der Recherche nach existierenden Tools und Applikationen merkten wir recht schnell, dass der Bereich Musikvisuals ein Fass ohne Boden ist.
recherche

Wir unterteilten die Recherche in verschiedene Bereiche:

Musikvisuals

Um ein Gefühl dafür zu bekommen, welche Visuals in welchem Umfeld passen und ihr größtes Potential aus schöpfen, sammelten wir eine große Bibliothek an bereits existierenden Musikvisualisierungen, die vor allem zeitge mäß und visuell ansprechend und innovativ sein sollten.

VJ-Software

Wir suchten außerdem nach Software, mit denen VJs arbei ten, da wir herausfinden wollten, welche Tools in diesem Bereich Marktführer sind und von Visual Artists im meisten genutzt werden. Diese Recherche sollte uns vor allem beim erstellen des Anforderungsprofils von enormer Hilfe sein.

Mobile VJ-Apps

Um die Marktanalyse noch zu verfeinern recherchierten wir außerdem nach mobilen Applikationen für VJs. Zwar wussten wir, dass der Markt hier noch recht neu war, den noch wollten wir uns ein Bild der derzeitigen Situation ver schaffen um so sehen in wie weit hier Innovationen möglich wären.

Aus der gesamten Recherche ging eine recht genaue Definition unseres Ziels hervor:

Eine mobile iPad-Software, die beides vereint: Mapping und VJing. Durch eine Fotofunktion soll der User ein Bild seines Objektes machen können, woraufhin die Software automatisch Formen erkennt und die Maske erstellt.
Im Visualmodus soll er diese Masken bespielen und so ein Erlebnis generieren können, das das Publikum atmosphärisch und emotional anspricht und mitreißt.

 

Konzept

Wir teilten die Applikation in zwei Bereiche:

Vorbereitung

Hier soll der User die Fotofunktion benutzen können, um eine Form abzufotografieren, woraufhin die Maske generiert werden kann. Anschließend soll er Einzelformen gruppieren können, um sie später zu bespielen.
Die Fotofunktion soll nur als Option dienen. Es muss also Werkzeuge geben, mit denen der User komplett eigene Formen erstellen kann.
Es sollte außerdem eine Vorbereitungsmodus für die Visuals geben, damit der VJ am Ende bequemer arbeiten kann.
vorbereitung


Performance

Hier soll der VJ mit seinen vorbereiteten Visuals arbeiten. Es soll eine Timeline geben, auf der Visuals platziert werden können um analog zur Audiospur zu laufen.
Außerdem sollen Visuals audioreaktiv, jedoch auch live manipulierbar sein.
perform


Module

Die Idee hinter den Modulen lässt sich am besten mit dem Vergleich zu CSS (Cascading Style Sheets) erklären.
Der VJ arbeitet während seiner Performance nicht mit den Visuals selber, sondern mit sogenannten Modulen, in denen die Visuals verpackt werden. Es gibt also einen Modus, wo diese Module erstellt werden können.
Um ein Modul zu erstellen wählt der User eine beliebige Gruppe und ein beliebiges Visual/Loop aus. Diese Gruppe würde dann später mit dem jeweiligen Visual bespielt werden. Jetzt kann er sich beliebige Parameter des Visuals auswählen und diese in den Live- oder den Audio-Bereich ziehen, um sie später während der Performance zur Verfügung zu haben. Dies wäre die erste Ebene des Moduls.
In einer zweiten Ebene kann der User das genau gleiche Prinzip anwenden. So kann er beliebig viele Ebenen erstellen, wobei die tiefere Ebene Priorität hat. Falls sich also zwei Gruppen in zwei Ebenen überschneiden (weil sie vielleicht eine oder mehrere gleich Flächen beinhalten), s0 würde die tiefere Ebene zählen, ähnlich also wie CSS.
Das Modulsystem bietet ein flexibles Prinzip, um sich genau auf eine Live-Performance vorzubereiten ud einzustellen.
Alle Module werden in einer Bibliothek festgehalten, von wo aus der VJ während der Performance agieren kann.

Umsetzung

Larva

Wir nannten unsere App Larva (lat. Maske) weil dies unserer Meinung nach am besten ihren Charakter beschreibt. Die App ist zwar als VJ-Applikation zu sehen, dennoch erfasst die Mapping- bzw. Maskenfunktion einen wichtigen Punkt und grenzt Larva so von bisherigen mobilen VJ-Apps ab.

Invention-Charakter

Zu dem gesamten App-Konzept ist zu sagen, dass es heute wahrscheinlich nicht möglich ist, viele der Funktionen zu realisieren. Die Fotofunktion gibt es bisher in ähnlicher Weise nur in der Software MadMapper. Dennoch ist ein Visual-Mapping im Normalfalle sehr aufwändig und bedarf einigen Vorbereitungsschritten, angefangen beim Ausmessen der zu bespielenden Fläche bis hin zur perfekten Ausrichtung des Beamers. Unser Konzept ist daher eine Zukunftsidee, die eventuell mit fortgeschrittener Technik möglich werden könnte.
Ein weiterer Punkt ist die Timeline, bzw. die Audiospur des DJs im Interface. Es gibt noch keine VJ-Software, die eine Schnittstelle zum DJ-Interface hat. Dennoch wäre dies mit entsprechender Technik möglich.
Wir haben zwar das iPad als Medium gewählt, weil es mobil und bequem zu bedienen ist. Dennoch wäre es nicht möglich, all diese technischen Raffinessen auf dem Tablett zu realisieren. Man könnte das iPad in unserem Falle also eher als Schnittstelle zu einem Rechner sehen, der den gesamten Prozess steuert, also sozusagen eine externe, mobile Kontrolleinheit.

Logo

Zusätzlich zum Namen haben wir ein Logo entworfen, dass die App in jedem Screen begleitet und sich dem User einprägen soll.
Das Logo zeigt ein Beispielvisual, das mit seinem 3D-Effekt die Charakteristik der App präsentiert. Es ist außerdem auf wenige Formen beschränkt und simpel gehalten um dem Betrachter besser im Gedächtnis zu bleiben.

logo

 

Interface

Unser Interface haben wir grundlegend dunkel gehalten. da VJ-Performances meist im abgedunkelten Raum performt werden, hat das dunkle Interface für den User so einen angenehmen visuellen Effekt.
Weiterhin haben wir uns auf Grautöne und wenige Farben beschränkt. Visuals bzw. Loops sind meist bunt und bringen dem Interface so schon einiges an Farbigkeit. Ein buntes Interface würde so die Visuals zu sehr in den Hintergrund schieben und den User zweifellos visuell überfordern.
Unsere Typografie ist die Delicious, eine für den Screen gestaltete Schrift, die auch in recht kleinen Schriftgrößen noch sehr gut funktioniert. Hier kommt außerdem das Retina-Display des iPad 3 zugute, da es enorm kleine Typografie erlaubt, die dennoch sehr gut lesbar ist.

Die Visuals

Für die Präsentation und Simulation unserer App erstellten wir beispielhafte Visuals für ein Projektionsmapping. Dazu analysierten wir den von uns gewählten Audiotrack auf markante Stellen und passten die Visuals entsprechend an.

visuals

Für die Umsetzung wählten wir Cinema 4D (für 3D-Effekte) sowie Photoshop und After Effects.

 

Finale Screens 

00_startscreen.png

Fotomodus

Der Fotomodus ist auf die nötigen Funktionen beschränkt. Der User kann hier das Foto seiner zu bespielenden Form machen. Zusätzlich gibt es Regler für Helligkeit und Kontrast. Wurde die Maske nach dem fotografieren generiert, so bekommt er ein Feedback. Es gibt außerdem einen Hinweis, die Kamera möglichst nahe an der Beamerlinse zu positionieren.
Wurden nicht alle Formen wie gewünscht erkannt, so hat der User die Möglichkeit, das Foto erneuu zu schießen.
Um das Foto zu speichern und fortzufahren, muss der Screen nach oben geslided werden. Dieses Prinzip zieht sich durch die gesamte Applikation.

foto

Mapping-Modus

Der Mapping-Modus bietet dem User die nötigen Werkzeuge, um die erstellten Formen zu bearbeiten oder um neue Formen hinzuzufügen. Möchte er ganz ohne Mapping arbeiten, so kann er den Hintergrund integrieren, was bedeutet, dass die Projektion auf der gesamten Beamerfläche laufen würde.
Um alle Einstellungen zu testen gibt es außerdem die Option, ein Testbild zu
projizieren.

maskierung

Gruppierungs-Modus

Hier erstellt der VJ beliebige Gruppen und Untergruppen. Anschließend muss er nur noch die entsprechenden Formen auswählen, um sie den Gruppen zuzuordnen.
der Gruppierungsmodus ist essentiell für die nachfolgende Erstellung der Module.

gruppierung

Module generieren

Wie bereits erwähnt, bestehen Module aus mehreren Ebenen. Der User kann sich also ein neues Modul erstellen und anschließend direkt Gruppe udn Visual auswählen, um die erste Ebene zu belegen. Hat er das Visual ausgewählt, so erscheinen die zugehörigen Parameter im Paramater-Feld. Alle Parameter sind drag- bzw. bewegbar. Um sie später live verändern zu können, muss er sie also in das Feld Live oder Audio des Moduls ziehen. Er hat natürlich auch die Möglichkeit, die Parameter direkt im Parameter-Feld einzustellen. Allerdings wären diese Einstellungen dann fix, das heißt er könnte sie im Live- Modus nicht weiter verändern.
Jedem Modul können neue Ebenen hinzugefügt werden.
Das Aussehen der Maske mit dem entsprechenden Modul wird außerdem immer direkt im Output-Fenster angezeigt. Darunter befinden sich Effekte, die wie die Parameter benutzt werden können, jedoch unabhängig vom Visual sind, das heißt sie können in jedem Modul und in jeder Ebene benutzt werden.

module

Visualisieren

Der Visualisierungsmodus ist der wahrscheinlich komplexeste Screen der App.
Kernelement ist die Timeline. Hier kann der VJ Module platzieren oder sie durch pressen des jeweiligen Modul-Icons entsprechend lang laufen lassen. Die Parameter erscheinen abhängig von dem aktuell gespielten Modul und können vom VJ verändert werden. Für den audioreaktiven Bereich gibt es Regler, mit denen der VJ Audioparameter einstellen kann, auf die die Parameter reagieren sollen.
Die Timeline umfasst zwei Spuren, die mit einem Crossfader gemischt werden können.
Im unteren rechten Bereich befindet sich die bpm-Anzeige. Im Normalfall wird die Abspielgeschwindigkeit der Timeline an die Geschwindigkeit des Audiotracks angepasst. Der VJ kann jedoch auch die Synchronisation ausschalten und ein eigenes Tempo für seine Visuals durch tappen festlegen.
Der VJ kann außerdem zu jedem Zeitpunkt durch einen Slide am rechten Rand zurück in den vorherigen Modus um Module zu bearbeiten, zu löschen oder zu erstellen.

visualize