Sprachassistent auf eigener Hardware

Was ich ergänzen würde

• Home Assistant Voice PE, rund 59 Euro. Zwei Fernfeld-Mikrofone plus XMOS XU316 für Echounterdrückung, Beamforming und Rauschunterdrückung. Dazu ein Schalter, der die Mikrofon-Stromversorgung physisch trennt.
• Seeed ReSpeaker Lite, ab 24,90 USD. Ebenfalls Zwei-Mikrofon-Array mit demselben XMOS-Chip, aber als Bastelplatine.

Mein Vorschlag zur Wegwahl

• Zum Ausprobieren Weg B, weil deutsche Bausteine fertig sind und die Doku lesbar ist.
• Für ein eigenes Produkt später Weg A, weil das Protokoll sauber und der Server frei wählbar ist.
• Beide Wege nutzen dieselbe Hardware. Die Entscheidung ist also nicht teuer und muss nicht heute fallen.

Das Weckwort-Problem im Detail

• Englisch bei Espressif: 0 Euro, Anfrage per GitHub-Issue. Geht sofort, Modelle wie "Hey Kira" oder "Hi Andy" stehen in der Liste. Mein Startpunkt.
• microWakeWord selbst trainieren: 0 Euro, Tage bis Wochen. Deutsch möglich. Die Autoren warnen selbst, dass das mitgelieferte Notebook meist unbrauchbare Modelle liefert.
• CustomESP-SR: 1.000 USD je Modell, rund 10 Werktage. Der kalkulierbare Weg. Ob dort wirklich Deutsch angeboten wird, konnte ich nicht belegen.
• Espressif-Sonderanfertigung: Preis nicht veröffentlicht. Braucht 20.000 Aufnahmen von mindestens 500 Sprechern, davon 100 Kinder. Für uns unrealistisch.

• Agent im Leerlauf: rund 1 GB. Mit Browser-Automation 2 bis 4 GB, weil Chromium allein 2 GB verlangt.
• Transkription (faster-whisper): tiny und base rund 1 GB, small rund 2 GB, medium rund 5 GB.
• Sprachausgabe (Piper): zweistellige MB je Stimme, läuft auf einem Raspberry Pi in Echtzeit. Nicht der Engpass.
• Sprachmodell: 8B in 4 Bit rund 5 GB VRAM, 14B rund 9 GB. Das ist der Posten, der eine GPU erzwingt.

netcup VPS 500 G12, Standort Wien

• 2 vCPU, 4 GB DDR5 ECC, 128 GB NVMe.
• 5,22 Euro netto im Monat plus 0,50 Euro für IPv4. Zwölf Monate Laufzeit, vorausbezahlt.
• Docker läuft schon darauf, ein weiteres Projekt liegt dort. Eine Domain fehlt noch.
• Rechenzentrum Wien, angebunden über das Anexia-Backbone mit Peering am VIX, Strom aus Wasserkraft. Der Standort ist nachträglich nicht änderbar.

Der Stolperstein, der wie ein Softwarefehler aussieht

• Exit Code 137 beim Aufsetzen ist kein Bug, sondern der Speicher-Killer des Kernels (128 plus Signal 9). Typischer Auslöser ist npm install, das den ganzen Abhängigkeitsbaum im Speicher aufbaut.
• Der Fix umgeht das Problem ganz: das fertige Image ziehen statt selbst bauen. Wer nicht baut, kann auch nicht am Bauen scheitern. Falls doch gebaut werden muss: Auslagerungsdatei anlegen.

• Stufe 0, jetzt: VPS 500 G12, 2 Kerne, 4 GB, 5,22 Euro netto. Ausprobieren, Modell von außen.
• Stufe 1: VPS 1000 G12, 4 Kerne, 8 GB, 8,71 Euro netto. Agent im Dauerbetrieb samt Browser, Transkription mit dem kleinen Modell, Datenbank daneben.
• Stufe 2: Root-Server RS 1000 G12, 4 dedizierte Kerne, 8 GB, 10,75 Euro netto. Dasselbe, aber die Transkription wird planbar statt zufällig.
• Stufe 3: RS 2000 G12, 8 dedizierte Kerne, 16 GB, 18,00 Euro netto. Größeres Transkriptionsmodell, mehrere Dienste, mehrere Nutzer.
• Mit eigener GPU: Hetzner GEX44, 20 GB VRAM, 234 Euro netto plus 114 Euro Einrichtung. Erst nötig, wenn das Sprachmodell selbst laufen soll.

Beim Aufrüsten zu beachten

• Upgrade läuft im Kundenpanel, kostet nichts extra, die Daten bleiben. Nach dem Neustart muss der zusätzliche Speicher von Hand eingebunden werden.
• Kein Downgrade, kein Generationswechsel, keine Einzelkomponenten. Man kann also nicht nur den Speicher aufstocken.
• Jedes Upgrade startet eine neue Mindestlaufzeit.
• Offen: Ob der Weg vom VPS zum Root-Server als Upgrade läuft oder ein eigenes Produkt ist, das neu bestellt und umgezogen werden muss. Die Doku beschreibt Upgrades innerhalb einer Reihe und schweigt zum Wechsel. Vor einer Entscheidung beim Support fragen.

Modell und Server

• Reasoning-Modus abschalten. Ein Entwickler berichtet von einem Modell, das im Denk-Modus fünfminütige innere Monologe produzierte statt zu antworten.
• Das Modell im Speicher halten. Ollama entlädt nach fünf Minuten Leerlauf. Bei einem Assistenten, der stundenlang wartet, kostet die erste Frage dann die komplette Ladezeit. Der häufigste unsichtbare Latenzfehler.
• Gesprächsverlauf hart begrenzen, drei bis fünf Nachrichten. Jeder zusätzliche Kontext kostet Zeit vor dem ersten Wort.
• Streaming ist der größte Hebel, nicht rohe Rechenleistung. Home Assistant misst durch gestreamte Sprachausgabe einen Sprung von über fünf Sekunden auf etwa eine halbe.
• Werkzeugaufrufe sind bei lokalen Modellen unzuverlässig, rund 80 Prozent gegenüber fast 100 in der Cloud. Eine Rückfallkette einplanen.

Audio und Hardware

• Echounterdrückung ist Pflicht, nicht Kür. Ohne sie wird das Gerät taub, sobald es selbst spricht. Klassischer Fall: Der Wecker klingelt, man ruft "Stopp", nichts passiert.
• Lauter machen hilft nicht gegen Rückkopplung. Die drei echten Wege sind: leiser, physisch entkoppeln, oder das Ausgangssignal rechnerisch abziehen.
• PSRAM falsch konfiguriert bedeutet Bootschleife ohne Fehlermeldung. Und ohne PSRAM bricht der Speicher direkt nach dem Anlegen der Audiopuffer zusammen.
• Mikrofon-Kanalwahl falsch gesetzt bedeutet Stille ohne Warnung.
• Logging auf INFO, nicht DEBUG. DEBUG-Ausgaben verursachen Audioprobleme.
• Aussetzer liegen meist am WLAN, nicht am Modell. Erst Puffer und Signalstärke prüfen, bevor man am Server sucht.

Gesprächsführung

• Einfache Stimmerkennung wertet jedes Geräusch als Unterbrechung und zerhackt die Antwort mitten im Satz. Echtes Unterbrechen braucht eine Absichtserkennung, keine reine Lautstärkemessung.
• Die Latenz versteckt sich in den Umschaltmomenten, nicht in Transkription oder Sprachausgabe. Dort zuerst suchen.
• Ab etwa einer Sekunde Wartezeit nehmen Nutzer an, das System sei kaputt. Eine LED oder ein Display hilft enorm, weil sichtbares Feedback die Wartezeit überbrückt.

Wenn es je ein Produkt werden soll

• Zum Ausprobieren gilt nichts davon. Ein selbst gebautes Gerät auf dem eigenen Schreibtisch braucht keine Zulassung. Das Folgende betrifft nur den Verkauf.
• Ein vorzertifiziertes Funkmodul reicht nicht. Die CE-Konformität gilt dem fertigen Gerät, weil Gehäuse, Antennenlage und Platinenlayout die Abstrahlung verändern.
• Keine Smart-Home-Steuerung einbauen. Der Cyber Resilience Act stuft "Smart home general purpose virtual assistants" höher ein, aber nur wenn das Gerät auch vernetzte Geräte steuert. Ein reines Diktier- und Notizgerät bleibt Standardprodukt. Vermutlich die günstigste Design-Entscheidung im ganzen Projekt.
• Synthetische Sprachausgabe muss maschinenlesbar gekennzeichnet werden, seit August 2026 nach dem AI Act.
• Lizenzen prüfen, bevor etwas eingebaut wird. Piper ist von MIT auf GPL gewechselt, die vortrainierten Modelle von openWakeWord sind ausdrücklich nicht kommerziell nutzbar.

• Espressif fordert für ESP-SR: SNR mindestens 62 dB, besser über 64. Empfindlichkeit -26 dB bei 1 Pa. Frequenzgang ±3 dB von 50 Hz bis 16 kHz.
• Im Array wird es eng: ±1 dB Empfindlichkeitstoleranz und maximal 10° Phasendifferenz. Daran scheitern Hobbyaufbauten. Praktisch heißt das: alle Mikrofone aus derselben Charge, gleiche Ausrichtung, gleiche akustische Wegstrecke. Nicht drei einzeln bestellte Breakout-Boards.
• Konkreter Vorschlag: TDK T5838, PDM, 68 dBA SNR, 330 µA, 3,5 × 2,65 mm, Bottom-Port. 2,03 USD bei 10 Stück, gut lagernd. Alternative Infineon IM69D130 mit 69 dB, zieht aber viermal so viel Strom.
• Vorsicht bei den Tutorial-Klassikern: Der INMP441, der in fast jedem ESP32-Tutorial steht, ist bei DigiKey als obsolet gelistet. Beim ICS-43434 widersprechen sich die Quellen. Vor dem Layout den Lifecycle-Status beim Distributor abfragen, nicht dem Tutorial-Konsens folgen.

• Espressif, 2 Mikrofone: linear, Achse waagrecht, 4 bis 6,5 cm.
• Espressif, 3 Mikrofone: Kreis, exakt 120°, gleicher Abstand.
• XMOS, charakterisiert: linear 33 mm oder Quadrat 66 mm. Mehr als 100 mm ist nicht charakterisiert.

• ESP-SR reicht bei ein bis zwei Mikrofonen, 16 kHz, moderater Lautstärke und Weckwort-Betrieb. CPU-Last je nach Modus 7 bis 32 Prozent, rund 220 kB internes und 240 kB externes RAM für den ganzen Stapel.
• Eigener DSP lohnt bei vier Mikrofonen mit echtem Beamforming oder wenn man reinreden will, während das Gerät spricht. XVF3800 mit fertiger Firmware 28 USD, der nackte XU316 6 bis 10 USD. Gleiches Silizium, die Differenz ist die Lizenz.

• Bauteilwahl-Konsequenz: Ein MAX98357A, der übliche I2S-Verstärker in ESP32-Projekten, bietet keinen brauchbaren Abgriffspunkt. Wer Echounterdrückung will, nimmt Codec (ES8311) plus separaten ADC (ES7210) statt eines reinen I2S-Verstärkers.
• Ich würde beide Abgriffe als Lötbrücke vorsehen, Codec-DAC und Verstärkerausgang. Kostet zwei Pads.
• Harte Grenze: Der Schalldruck am Mikrofon darf 102 dB bei 1 kHz nicht überschreiten. Darüber sättigt das Mikrofon, und eine gesättigte Aufnahme kann keine Echounterdrückung mehr retten, weil die Information weg ist.

• Bohrung größer als 1 mm, Verhältnis Tiefe zu Durchmesser kleiner als 2 zu 1. Die Falle beim 3D-Druck: eine typische gedruckte Wand hat 2,5 bis 3 mm, bei 1 mm Bohrung ergibt das 3 zu 1 und der Kanal wird zum Helmholtz-Resonator mitten im Sprachband. Lösung: von innen ansenken, sodass am Austritt nur 1 mm Restmaterial steht.
• Der Widerspruch dahinter: Espressif will 1 mm am Mikrofon, der Lautsprecherbau 4 bis 7 mm gegen Resonanzen. Beides stimmt, es sind zwei verschiedene Anforderungen. Also dicke Grundwand, lokal angesenkt.
• Dichtung ist Pflicht, Silikonring oder Moosgummi, vollständig komprimiert, Durchmesser gleich dem Schallloch. Espressif will messbare 25 bis 30 dB Dämpfung. Undichte Dichtungen sind laut Bauteilherstellern eine der häufigsten Ursachen für Echo- und Rückkopplungsprobleme.
• Mikrofone nicht auf dieselbe Platine wie den Lautsprecher, wegen Körperschall. Das erzwingt eine getrennte Mikrofonplatine per Flachbandkabel. Grund: die Echounterdrückung modelliert den Luftweg, Körperschall ist ein zweiter, viel kürzerer Pfad, den kein Algorithmus sauber wegbekommt.
• Lautsprecher in eigener geschlossener Kammer, auf Gummitüllen, Mikrofonplatine gegenüber, dazwischen keine durchgehende starre Rippe. PETG statt PLA, weil PLA ab 50 bis 60 °C kriecht.
• Antenne: kein Kupfer auf keiner Lage unter oder innerhalb 2 mm um den Antennenbereich, und 15 mm Abstand zu jedem Metallteil. In einem Metallgehäuse funktioniert die Platinenantenne praktisch nicht, dann die Modulvariante mit U.FL-Anschluss und externer Antenne nehmen.

Fertigung

• Modul nehmen, nicht den nackten Chip. Das ESP32-S3-WROOM-1 hat Antenne, Quarz, Flash und Anpassnetzwerk integriert und FCC und CE bereits bestanden. Eigenes Hochfrequenz-Layout heißt eigene Zertifizierung.
• Die eigene Platine lohnt bei den Mikrofonen, weil die Toleranzen mit Breakout-Boards und Kabeln nicht erreichbar sind.
• JLCPCB: 5 Stück, 4 Lagen, 100 mal 100 mm, rund 33 USD, etwa 7 Tage. Bei Bestückung alle Teile aus dem LCSC-Katalog wählen, ein einziges Fremdteil schiebt den Auftrag in den teureren Tarif. Alternative ohne Zollthema: Aisler in Deutschland, ab 3 Stück, teurer und langsamer.

Die fünf teuersten Fehler

• Platine nach dem Löten gewaschen. MEMS-Mikrofone haben eine offene Schallöffnung. Jedes Reinigungsmittel und jedes Ultraschallbad zerstört sie. Wer aus Gewohnheit mit Isopropanol drübergeht, hat gerade vier Mikrofone entsorgt.
• Druckluft ins Mikrofonloch. Maximal 0,3 mPa, Düse mindestens 2 mm, Abstand über 50 mm, unter 5 Sekunden, niemals ansaugen.
• Sofort nach dem Löten gemessen. Nach dem Reflow mindestens drei Stunden bei Raumtemperatur ruhen lassen. Wer vorher misst, wirft eventuell intakte Teile weg. Und maximal drei Reflow-Zyklen.
• PCB-Schallloch durchkontaktiert oder unter 0,5 mm. Dann läuft beim Reflow Lötpaste hinein.
• Kein Referenzabgriff vorgesehen. Lässt sich nachträglich nur mit fliegenden Drähten reparieren.

• Home Assistant Voice PE, das vollständigste offene Design: KiCad-Projekt mit Schaltplan und Layout unter CERN-OHL-P v2, also permissiv und kommerziell nutzbar. Gehäuse-STL auf Printables. Bestückung laut Teardown: ESP32-S3 mit 16 MB Flash und 8 MB PSRAM, XMOS XU316, TI TLV320AIC3204 Codec. Die Mikrofonmodelle nennt der Teardown nicht, die müsste man aus der Stückliste im Repo ziehen.
• Espressif Korvo-2: vollständiger Schaltplan als PDF, mit ES7210, ES8311, NS4150 und genau dem Echo-Referenzabgriff.
• Strom: Netzbetrieb, 5 V mit 2 A. Das Voice PE zieht rund 0,5 W im Leerlauf und 1,5 bis 2 W aktiv, die 2 A decken die WLAN-Spitzen. Akkubetrieb ist für ein dauerhaft lauschendes Gerät nicht sinnvoll, weil WLAN verbunden und die Weckwort-Erkennung dauerhaft laufen muss, also Deep Sleep als einziger echter Sparhebel wegfällt. Sinnvoll wird Akku nur mit Taste statt Weckwort. Dann bestimmt das aber die Bedienlogik, nicht umgekehrt.