David Behr .DE

Projekt Trinity - Mein lokaler KI-Cluster

31. Oktober 2026

Es ist jetzt schon länger her, dass ich mir ein größeres Bastelprojekt vorgenommen habe. Ich hatte lange Zeit einfach nicht die Energie dafür und wer mich privat besser kennt, weiß auch warum. Aber alle die mich kennen wissen auch, dass ich immer gerne gebastelt habe. Nun ist diese Zeit aber überwunden und die Dunkelflaute ist vorbei.

Es ist wieder Bastelzeit! Für die kalten und dunklen Wintermonate habe ich mir ein extrem spannendes und ambitioniertes Homelab-Projekt vorgenommen. Es trägt den Codenamen Trinity.

Das Ziel? Kein geringeres als der Aufbau einer komplett lokalen, dreistufigen KI-Infrastruktur in meinen eigenen vier Wänden - mit maximaler Datenhoheit, ohne Cloud-Zwang, dabei dennoch von überall erreichbar und maßgeschneidert für mein Smart Home und anspruchsvolle Entwickler-Workloads.

Warum Trinity? Der Name ist Programm. Im Endausbau wird das System auf einer logischen Dreieinigkeit aus drei verschiedenen Systemen basieren, die sich die Rechenlast im Haus intelligent aufteilen:

• 1. Das Alltagsbewusstsein: ein extrem stromsparender Mac Mini M4 16 GB RAM, auf dem ein hochspezialisiertes Qwen2.5-coder-7b-instruct-mlx (via LM Studio) läuft. Er kümmert sich rund um die Uhr um schnelle Chats und Smart-Home-Skripte.
• 2. Das Cerebrum: ein Unraid-Server, der später eine dedizierte AMD Radeon RX 7900 XT (20 GB VRAM) spendiert bekommt, um größere DeepSeek-Reasoning-Modelle im Dauerbetrieb bereitzustellen.
• 3. Der Kortex: ein Gaming-PC mit einer RTX 4070 Ti Super (16 GB VRAM). Dank der Strata-Interferenz-Engine und des NVFP4-Formats dient er als brachiales Rechenmonster für gigantische 125B MoE-Modelle, das bei Bedarf geweckt wird.

Meine Meilensteine für diesen Winter. Da das Projekt enormt umfangreich ist, werde ich die Hardware-Erweiterungen erst einmal hintenanstellen und mich im "TrockenDocker" voll auf den Software-Kern und die Logik fokussieren:

• Meilenstein 1: Das zentrale Interface Open WebUI weiter optimieren und mithilfe eines Python-Skripts Anfragen analysieren und an das passende KI-Modell weiterleiten (routing).
• Meilenstein 2: Die KI-Systeme tief ind mein bestehendes Home Assistant OS (Unraid VM) integrieren mittels Home Generative Agent (HGA). Durch eine PostgreSQL-Datenbank erhält die KI ein Langzeitgedächtnis.
• Meilenstein 3: Eine Ubuntu-Server VM mit AMD Treiber, ROCm sowie Strata installieren und vorbereiten für die zukünftige Hardware-Erweiterung.

Der Ausblick in die Zukunft: Sobald der Software-Kern stabil läuft, wird nach und nach die Hardware aufgerüstet. Eine RX 7900 XT wird exklusiv der Ubuntu-Server VM zur verfügung gestellt während eine RTX 3050 für Jellyfin und die Unraid-Konsole verwendet wird.

Langfristig ist eine komplette intelligente Smart Home Integration mit Nabu Casa Hardware-Satelitten, für eine komplett lokale Stimme (via Piper) und Ohren (via Whisper und openWakeWord), geplant. Ganz nach dem Vorbild von J.A.R.V.I.S. aus Iron Man, aber eben mit dem Namen Trinity.

Ein erster Versuch

8. Oktober 2026

Was ihr hier oben seht ist der erste Versuch mit einer lokalen KI (Qwen 3.5 9B) eine Webseite zu erstellen.

Es waren natürlich mehrere Iterationen notwendig um das gewünschte Ergebnis zu erhalten. Aber auf meiner Hardware (RTX 4070Ti SUPER + Ryzen 7 9700X) ging dies relativ flott. Eine Iteration hat im Schnitt deutlich unter einer Minute benötigt.

Das Ergebnis kann sich sehen lassen wie ich finde. Ihr könnt es euch direkt selbst anschauen, die Seite ist unten verlinkt. Beachtet, dass die Zeit anhand der Systemzeit abgeleitet wird, weshalb es nur im Bereich von GMT +2 korrekt angezeigt wird.

Der erste Kontakt

8. Oktober 2026

Weil ich, wie es sich für einen echten ITler gehört, sehr faul bin habe ich mir diesen Web-Blog komplett von einer lokalen KI erstellen lassen. Genauer gesagt mit Qwen 3.5 9B. Das ist, aus meiner Sicht, das Beste was mein PC aktuell verarbeiten kann.

Um den Lesekomfort etwas zu verbessern, bietet die Webseite die Möglichkeit deinen Browser auf Light- oder Dark-Mode umzustellen – ganz oben rechts ist dafür ein Button.

Nun zu dem was es hier geben soll. Der Plan ist, dass ich von Zeit zu Zeit hier immer mal wieder Einblicke in aktuelle Projekte, Neuigkeiten oder ander Dinge geben möchte. Ich hoffe, dass ich es einigermaßen regelmäßig schaffe.