Workflows

Gesammelte Workflows aus meiner künstlerischen Praxis für Kooperationen, Lehrformate und Aufträge. Kontaktieren Sie mich gerne bei Interesse.

Bootstrap
3D/CGI
Prozeduralität
3D-Druck
3D-Scan
Foto: Benjamin Ganzenmüller für HIDALGO GmbH
Projection Mapping
Interaktion/Games
Künstliche Intelligenz
Video
Virtual Reality
Simulation
3D-Animation
Motion Tracking
Formgenerierungen mit vielfältigen Methoden
Vom klassischen Low-Poly-Modelling, Sculpting und 3D-Scanning bis hin zur Formfindung mit prozeduralen Tools, Simulationen, Extraktionen und KI.
Experimentelle Materialitäten und Oberflächen
PBR-Materialien und spezielle Shader ermöglichen Experimente mit Materialeigenschaften, Strukturen und Farbtexturen. Ein Spiel zwischen hyperrealen und eigenen experimentellen Ästhetiken.
Szenenaufbau und Lichtdramaturgie
Arrangements von Objekten mithilfe von einfachen und erweiterten Werkzeugen. Vielfältige Möglichkeiten, mit Licht Atmosphären zu schaffen. (Realtime, Baked)
Rendering von Videos und Bildern mit experimenteller Ästhetik
Verschiedene Rendering-Verfahren wie Cycles und Eevee für hochqualitative Bild- und Videoberechnungen mit zugehörigen Workflows wie Render Passes, Cryptomatte und Postprocessing. Auch Realtime-Rendering mit Unity oder Unreal ist möglich.
Erstellung von Werkzeugen für spezielle Probleme und Workflows
Durch einen prozeduralen Ansatz können Werkzeuge erstellt werden, um individuelle Lösungen für spezielle Probleme zu generieren. Die dabei entwickelten Werkzeuge sind wiederverwendbar und können kontinuierlich verbessert werden.
Exploration von Varianten und Vorschlägen prozeduraler Systeme
Prozedurales Arbeiten ermöglicht es, Systeme zu erstellen, die Varianten und Spektren erzeugen, aus denen ausgewählt und Richtungen weiter verfolgt werden können. Es handelt sich somit um ein exploratives Arbeiten und eine kontinuierliche Interaktion mit den prozeduralen Systemen.
Automatisierung von Arbeitsprozessen für hohe Geschwindigkeit
Durch ihre Wiederverwendbarkeit und die Möglichkeit, diese Werkzeuge zu verfeinern, stellen sie eine Form der Automatisierung dar. Dies ermöglicht es auch Einzelpersonen oder kleinen Teams, eine große Arbeitslast mit hoher Geschwindigkeit zu bewältigen.
Großer Fundus an bestehenden Lösungen und Workflows
Es existiert ein umfangreicher Fundus an speziellen Workflows und Werkzeugen. Für neue Probleme können sicherlich gute Lösungen gefunden werden.
Example image

3D-Druck

Die Realisierung digitaler Formen in unterschiedlichen Materialien als physisches Objekt bietet ein großes Potenzial für digitale Praktiken. Im Vergleich zur manuellen Erstellung können hier vielfältige digitale Werkzeuge zur Formfindung genutzt werden, um beispielsweise Formen mit hoher Präzision, besonderer Komplexität oder interessanten ästhetischen Eigenschaften zu erstellen. Mit einer kleinen Druckerfarm und einer Sammlung verschiedener Workflows, sowohl in der digitalen Modellerstellung als auch in der Nachbearbeitung im Bereich Modellbau kann experimentiert und auch spezielle Anforderungen bearbeitet werden.

Druckdaten-Erstellung und -Aufbereitung
Die Erstellung von Druckdaten erfordert gerade bei speziellen Modellen Erfahrung mit den Maschinen und der Slicing-Software, um Druckfehler zu vermeiden.
FDM- und SLA-Verfahren
Das FDM-Verfahren kann mit einem beweglichen Druckkopf und Filamentmaterialien wie PLA, PETG große und mechanisch belastbare Teile erzeugen. Das SLA-Verfahren mit fotoreaktivem Harz kann besonders hochaufgelöste, detailreiche Formen erzeugen.
Modellbau-Workflows für Nachbearbeitung
Es existieren umfassende Workflows für die Nachbearbeitung und für Prints aus mehreren Teilen. Dazu gehören Kleben, Spachteln, Modellieren und Fräsen sowie Grundieren und Bemalen.
Generative Methoden zur Erstellung und Veränderung von Modellen
In Kombination mit prozeduralen Workflows können Modelle leicht für den Druck vorbereitet und verändert werden. Dazu zählen das Arrangieren, Zerschneiden, Verbinden, Aushöhlen oder Manipulieren mit Simulationen.
Bootstrap Themes

3D-Scan

Mithilfe der verschiedenen Verfahren des 3D-Scans, wie Photogrammetrie und Lidar, kann die ästhetische Qualität von Komplexität der Form und Eigenschaften der Textur von physischen Objekten oder Orten digitalisiert und für unterschiedliche Verwendungen aufbereitet werden. Gerade wegen dieser indexikalischen, tatortähnlichen Qualität des 3D-Scans begeistert mich das Verfahren. Die Ergebnisse können rein virtuellen Ästhetiken gegenübergestellt werden und ein Spannungsverhältnis aufbauen. Sämtliche Workflows für die unterschiedlichen Verwendungen wie 3D-Druck, Rendering, Animation und Game Assets liegen vor.

Photogrammetrie-Verfahren für hochqualitative Ergebnisse
Das Verfahren erlaubt es, Objekte, Architekturen und Räume zu digitalisieren. Durch die Methode der Fotografie lassen sich sowohl weit entfernte als auch sehr kleine Objekte digitalisieren. Die Qualität der Formen und Texturen ist dabei besonders hoch.
Schnelle Ergebnisse mit Lidar
Mit dem Smartphone-Lidar-Sensor können besonders schnell Scans von Objekten oder Räumen gemacht werden. Dies hat zwar gewisse Einschränkungen in Qualität und Reichweite, ist aber besonders einfach und schnell.
Umfassende Workflows zur Aufbereitung der Rohdaten
Die Rohdaten eines Scans sind unabhängig vom Verfahren zunächst unbrauchbar und müssen aufbereitet werden. Mit bestehenden prozeduralen Tools können Neuaufösungen der Form und Übertragungen sowie Ausbesserungen von Texturen besonders effektiv gemacht werden.
Verwendungen in unterschiedlichen Bereichen
Je nach gewünschter Verwendung müssen die Scans mit unterschiedlichen Schwerpunkten aufbereitet werden. Für alle Bereiche wie Rendering, 3D-Druck, Animation und Echtzeitumgebungen/Games liegen Workflows und Lösungen vor.

Projection Mapping

Projection Mapping kann eine Fassade, einen Innenraum oder eine künstlerische Installation eindrucksvoll bespielen. Echtzeitberechnetes oder Videomaterial wird präzise einzelnen Flächen zugewiesen und ermöglicht es, ein Spiel mit Bildfläche, Bildtiefe, Oberflächenmustern und der Auflösung bespielter Formen zu vollführen. In Kombination mit Echtzeitsystemen, die steuerbar sind, und Sensoren, die Reaktionen aufnehmen oder bedient werden können, entsteht eine stark immersive Umgebung. Diese kann auch eine Verbindung mit anderen Gewerken eingehen und Datenströme verarbeiten und einbeziehen.

Bootstrap Themes

Foto: Benjamin Ganzenmüller für HIDALGO GmbH

Fassadenprojektion als Spiel mit Bildtiefe und Oberfläche der Architektur
Präzise Einteilungen der Elemente einer Fassade können im Wechselspiel mit Übergängen für eine kontinuierliche Veränderung sorgen und mit einem Spiel zwischen Bildtiefe und Bildfläche faszinieren.
Eine Verbindung mit virtuellen Systemen erlaubt Interaktionen und Steuerung
Echtzeitbasierte Systeme ermöglichen in Verbindung mit Projection Mapping einen direkten Bezug zum Kontext. Interaktionen von Besucher:innen, Performances von Schauspielern, Live-Streams und sonstige Ereignisse können einbezogen und darauf reagiert werden.
Foto: Benjamin Ganzenmüller für HIDALGO GmbH
Zusammenführung der Gewerke durch Echtzeit-Input - OSC, DMX, NDI, Livestream
Durch unterschiedliche Schnittstellen können auch weitere Datenströme in den Echtzeit-Setup einbezogen werden. So können beispielsweise unterschiedliche Stationen eines Events beim Projection Mapping zusammenfließen und auf einer Fassade oder Ähnlichem präsentiert werden.

Foto: Benjamin Ganzenmüller für HIDALGO GmbH

Interaktion in installativen Setups mit Sensoren
In einem installativen Kontext entfalten sich die Möglichkeiten von Interaktion besonders. Mithilfe von Sensoren für Hand-Tracking oder eigenen Arduino-Setups können Raum und Betrachter:innen besonders einbezogen werden und mit der virtuellen Ebene interagieren.
Virtuelle Systeme in Verbindung mit Aktoren
Komplexe Prozesse und generierte Patterns virtueller Systeme können durch Ansteuerung physischer Aktoren wie beispielsweise perkussive Schlagroboter dargestellt werden und damit eine virtuelle Ästhetik von Patterns in den physischen Raum bringen.
Hohe Erreichbarkeit durch browserbasierte Setups wie mit 8XR oder ThreeJS
Browserbasierte Setups mit der GameEngine 8XR oder eigenen ThreeJS-Setups erlauben einen einfachen Zugang, da nichts installiert und lediglich ein Link aufgerufen werden muss. So kann eine hohe Reichweite auf alle Endgeräte wie Desktop, Smartphone und Browser erreicht werden.
Schwarmsimulation und agent based modeling
Echtzeitumgebungen lassen es mithilfe von Programmierung, Systeme zu erstellen, die komplexe Verhaltensweisen an den Tag legen. Solche verhaltensbasierten Akteure können dazu verwendet werden, um Annahmen und Zusammenhänge "bottom-up" zu simulieren und zu überprüfen.
Plattformen
Mit Game Engines wie Unity, 8XR oder Unreal oder Lösungen mit ThreeJS lassen sich ästhetische Erfahrungen für alle Endgeräte erstellen: Desktop - Windows und macOS, Smartphone - Android und iOS, VR - Standalone und PC-basiert, AR, browserbasiert.
Bild- und Video-Generierung mit Stable Diffusion
Die Generierung von Bildern und Videos mit einer Vielzahl von Parametern und Inputmaterialien stellt eine spannende Variante dar, Bilder zu erzeugen. Mit starker GPU-Hardware können lokal besonders anpassungsfähige und kontrollierbare Ergebnisse erzielt werden, ohne von Einschränkungen kommerzieller Modelle wie Dall-E oder Midjourney abhängig zu sein. Dies wird durch eine Verbindung mit 3D-Rendering-Verfahren besonders interessant.
OpenAI API für erweiterte Funktionsweisen mit Programmierung
Textgenerierung via ChatGPT ist interessant, ein noch größeres Potenzial verbirgt sich aber hinter der Programmierschnittstelle von OpenAI API. Hiermit sind komplexe programmierte Workflows möglich und Features wie Text to Speech, Speech to Text, Bildgenerierung, Computer Vision und eine wesentlich feinere Kontrolle zur Textgenerierung.
AI Tools im bildnerischen Prozess
Von der textbasierten Konzeption, skizzenhaften Prävisualisierung, Generierungen in der Umsetzung und Hilfestellungen bei der Dokumentation kann KI an allen Stellen des künstlerischen Prozesses anschließen.
Spezielle AI-Workflow-Tools
Spezielle und schwierige Aufgaben, die händisch eventuell zu viel Zeit kosten würden oder unmöglich wären, können eventuell mit einer intelligenten Verschachtelung von KI, prozeduralen Workflows und Programmierung gelöst werden.
Recording von Videomaterial
Ein Fundus von Blackmagic-Videoequipment, Gimbal und Software für viele mögliche Drehs liegt vor. Dabei werden die Möglichkeiten von RAW oder BRAW in Sachen Color Grading hoch geschätzt.
Video-Editing-Workflows
Klassische Videoschnitt-Workflows und eine große Erfahrung von Video-Codecs und -Formaten für alle Verwendungen. (.mp4, .webm, .braw, DnxHD, HAP, NDI) Auch ein massenweises Bearbeiten von Videos ist möglich.
Post-Processing und VFX
Mit Color Grading und VFX versucht man, das Meiste aus dem Material herauszuholen oder es ganz im Sinne des Projekts in Sachen Farbqualität, Timing und allgemeiner Ästhetik anzupassen. Auch Stabilisierungen, Motion Graphics und Untertitel gehören dazu.
Postprocessing für 3D-Renderings
Für 3D-gerenderte Videos braucht es spezielle Workflows in Sachen Colorgrading und layer-basierten Workflows. Dazu werden Konzepte wie Renderpasses und Funktionen wie Cryptomatte herangezogen. Mithilfe von Tracking kann 3D-Material mit aufgezeichnetem Videomaterial verbunden werden.
KI und Data-Science-Ansätze
KI-Funktionen und -Workflows erlauben auch im Bereich Video-Editing Neues. Beauty-Filter, Sprachanalyse, Übersetzungen und Untertitel-Generierungen sind leicht machbar. Auch Methoden aus der Data Science wie algorithmische Analysen von Videos wie Motion Vector, Spektrogramme, Segmentierungsanalyse oder semantische Analyse sind unter anderem möglich.
Hochqualitative immersive Erlebnisse mit PC-VR
PC-VR erlaubt die höchste Qualität in Sachen Grafik, Leistungsfähigkeit und Umfang. Hier kann das gesamte Repertoire aus Game Development und Prozeduralismus in VR sein Potenzial entfalten. Vertreter sind Modelle wie die Index VR oder Vive-Brillen.
Standalone-VR als besonders portabel
Demgegenüber ist Standalone-VR portabler. Kann also leichter eingesetzt werden, da es keinen leistungsstarken Rechner benötigt und keine Kabel im Weg sind. Der Entwicklungsprozess unterscheidet sich hauptsächlich in einer stärkeren Notwendigkeit der Optimierung für die im Vergleich schwächere Hardware.
Browserbasiertes VR mit 8XR
Besonders zugänglich sind Setups über den Browser. Hier muss nichts installiert werden, sondern es kann direkt über einen Link aufgerufen werden. Die Game Engine 8XR bietet hier ein großes Spektrum an Features, um ein Projekt auch kooperativ über den Browser-Editor zu erstellen.
Verbindung mit prozeduralen Workflows und KI
In Verbindung mit prozeduralen Workflows und KI kann die große Bandbreite an Tools zur Erstellung und Optimierung von Modellen, Animationen, Atmosphären und Interaktionen bei der Entwicklung eines VR-Erlebnisses helfen.
Natürliche Phänomene in 3D simulieren
Die Begeisterung über Faltenwurf, Rauchschwaden, die in der Luft stehen, zersplitternde Formen oder Zeitraffer von sich ausbreitende Gewächsen begeistern in der Realität und lassen sich mit den unterschiedlichen Simulationssystemen, wie beispielsweise Houdini, nicht nur nachbilden, sondern dirigieren und mit einer Vielzahl von Variablen experimentieren. (Cloth, Smoke, Fracture, Growth etc.)
Verwendung von Algorithmen
Interessante Algorithmen wie Reaction-Diffusion, Wave Function Collapse oder Cellular Automaton zeigen auf, auf welchen Regelwerken natürliche Erscheinungen fußen, die unter Umständen zuvor als undurchschaubar galten.
Verhaltensweisen mit agent-based modelling
Durch Wegfindungsalgorithmen und Programmierung lassen sich Systeme erstellen, die komplexe Verhaltensweisen und Interaktionen an den Tag legen. Für die Wegfindung kann beispielsweise auf den A*- und Dijkstra-Algorithmus oder eigene Steering-Programmierungen zurückgegriffen werden, die beispielsweise Schwarmphänomene und -Navigation erzeugen.
Klassische 3D-Animationsformen
Animation von Kameras, Objekten als Ganzes, Bereichen oder mit einer Gelenk-Logik wie Marionetten: Transform Animation, Shape Keys, skeletal Animation mit Armatures. Auch shaderbasierte Animation oder das Abspielen komplexer Simulationen via „Vertex Animation Textures“ sind möglich.
Prozedurale 3D-Animationsformen
Mit Hilfe von unterschiedlichen Noises und regelbasiertem Zufall können interessante Animationen erzeugt werden. Houdinis KineFX erlaubt es dabei, einen komplexen Umgang mit bestehenden und generierten Animationen aufzubereiten. Auch Simulationen auf bestehende Animationen als Secondary Motion sind möglich.
Motion Tracking und KI
Mithilfe von Motion Tracking können Animationen aufgezeichnet oder erstellt werden. Sensoren für Hand-, Body-Tracking oder KI-Methoden liefern Rohdaten. Diese werden aufbereitet und mithilfe von Retargeting-Workflows auf Modelle übertragen. Hier müssen die Körper von Rohdaten und Zielobjekt nicht deckungsgleich sein, und eine Handbewegung könnte auf einen ganzen Körper übertragen werden. Das Experimentierfeld ist hier dank prozeduraler Tools sehr weit.
Hand- und Body-Tracking
Leap Motion Hand-Tracking und Body-Tracking via Kinect können dazu verwendet werden, um Bewegungsdaten aufzuzeichnen und diese in Animationen und Echtzeitumgebungen zu verwenden.
Interaktion in Echtzeitumgebungen
Mit Sensoren für Motion Tracking ist es möglich, in Game Engines wie Unity Interaktionen mit den eigenen Händen oder dem Körper in eine Echtzeitumgebung zu übertragen, um dort in die Umgebung einzuwirken oder Prozesse auszulösen.
KI
Unterschiedliche KI-Werkzeuge können verwendet werden, um Bewegungsdaten beispielsweise aus Videodateien zu extrahieren.
Prozedurale Tools zur Bearbeitung und Verwendung
Prozedurale Werkzeuge wie Houdinis KineFX ermöglichen es, Bewegungsdaten auf komplexe Weise zu arrangieren und zu manipulieren.