Listener

Die Technik im Detail

Wie der Listener erkennt, wer spricht, und woher die Stimme kommt: das neuronale Netzwerk Schicht für Schicht und die Richtungsberechnung mit vier Mikrofonen. Beschrieben ist der Stand des Prototyps.

Den Überblick ohne Technik gibt es auf der Seite Funktionen.

Der Signalweg

1Vier Mikrofonedigitale Tonwerte

1Vier Mikrofone

Vier digitale Mikrofone liefern Tonwerte. Sie teilen sich denselben Takt und werden im selben Augenblick abgetastet. Das ist die Grundlage für die Laufzeitmessung.

2VorverarbeitungFilter, Spracherkennung

2Vorverarbeitung

Filter entfernen Gleichanteile und lernen das Hintergrundgeräusch. Eine Spracherkennung entscheidet, ob gerade gesprochen wird. Nur Abschnitte mit Sprache gehen weiter.

3RichtungLaufzeiten → Winkel

3Richtung

Aus den Laufzeitunterschieden zwischen den Mikrofonpaaren wird der Winkel berechnet, aus dem gesprochen wird. Er erscheint im Sitzplan. Das Prinzip steht weiter unten im Abschnitt „Die Richtung mit vier Mikrofonen“.

4SpektrogrammKlang als Bild

4Spektrogramm

Ein Ausschnitt von etwa 2 Sekunden wird in ein Bild umgerechnet. Es zeigt, welche Frequenzen wann wie stark sind.

5Neuronales NetzwerkFingerabdruck

5Neuronales Netzwerk

Das Netzwerk macht aus dem Bild einen Fingerabdruck der Stimme: eine kurze Zahlenreihe. Dieselbe Stimme ergibt ähnliche Zahlen, verschiedene Stimmen unterschiedliche. Auf dem Chip dauert das nur Bruchteile einer Sekunde.

6ZuordnungVergleich mit Stimmprofilen
Redezeit je Person

6Zuordnung

Der Fingerabdruck wird mit allen angelernten Stimmprofilen verglichen. Passt keines ausreichend gut, zählt die Äußerung als „Unbekannt“. Die Dauer wird der erkannten Person gutgeschrieben.

Alles läuft im Gerät auf einem ESP32-P4, ohne Cloud. Das Netzwerk wird mit ESP-DL ausgeführt, der Deep-Learning-Bibliothek von Espressif.

Das neuronale Netzwerk

Das Netzwerk hört nicht auf Wörter. Es bekommt ein Bild des Klangs, ein Spektrogramm, und beschreibt damit die Stimme: Welche Frequenzbereiche sind wie stark, und wie verändert sich das über zwei Sekunden? Dieselbe Person ergibt ähnliche Zahlen, verschiedene Personen ergeben unterschiedliche.

Eingabe: das Spektrogramm

Beispiel: oben das Tonsignal einer echten Sprechprobe von 2 Sekunden, darunter das daraus berechnete Spektrogramm
Beispiel: die ersten 2 Sekunden einer echten Sprechprobe, gerechnet mit denselben Schritten wie im Gerät. Vokale erscheinen als helle waagerechte Streifen, Zischlaute breit in den hohen Frequenzen, Pausen dunkel.

So entsteht das Bild

  1. Die Höhen des Tonsignals werden leicht angehoben.
  2. Der Ton wird in sehr kurze, überlappende Fenster geschnitten.
  3. Pro Fenster wird gemessen, wie stark die einzelnen Frequenzbereiche sind, in Stufen, die dem menschlichen Gehör folgen (Mel-Skala).
  4. Die Stärke wird logarithmisch dargestellt, wie auch das Ohr Lautstärke empfindet. Danach wird der Durchschnitt je Frequenzbereich abgezogen. Das macht den Fingerabdruck unabhängig von Mikrofon und Entfernung.

Die Schichten

Das Netzwerk besteht absichtlich nur aus Standardbausteinen, die ESP-DL auf dem Chip beherrscht: Faltung, Normalisierung, Aktivierung (ReLU) und Pooling. Es gibt weder LSTM noch Attention. Die Balkenbreite deutet an, dass die Zahl der Merkmale von Block zu Block wächst.

Schicht
Aufgabe
Eingabe
das Spektrogramm als Bild
Block 1
Faltung, Normalisierung, Aktivierung, Pooling: erkennt einfache Muster im Klangbild
Pooling verkleinert die Fläche
Block 2
gleicher Aufbau: kombiniert Muster zu Klangmerkmalen
Pooling verkleinert die Fläche
Block 3
gleicher Aufbau: feinere Stimmmerkmale
Pooling verkleinert die Fläche
Block 4
gleicher Aufbau, ohne Pooling
Mittelung
Mittelwert über die ganze Zeit: „wie klingt die Stimme im Schnitt“
Ausgabe
wandelt die Merkmale in den Fingerabdruck um
Fingerabdruck
auf Länge 1 skaliert, Vergleich per Kosinus

Das Netzwerk ist klein genug, um auf dem Chip des Geräts in wenigen Zehntelsekunden je Ausschnitt zu laufen.

Wie es lernt

Trainiert wurde mit öffentlichen deutschsprachigen Sprachaufnahmen von mehr als tausend Sprechern, von denen ein Teil nur zum Prüfen diente. Als Lernziel dient ArcFace: Das Netzwerk wird bestraft, wenn Fingerabdrücke derselben Person nicht eng zusammenliegen oder wenn verschiedene Personen nicht mit einem Sicherheitsabstand auseinanderliegen. Dieser Lernteil wird nach dem Training verworfen. Im Gerät steckt nur das kleine Netzwerk.

Danach wird es auf 8-Bit-Zahlen umgerechnet, damit es auf dem Chip schnell läuft. Der Genauigkeitsverlust war im Test kaum messbar.

Wie aus dem Fingerabdruck ein Name wird

Beim Anlernen spricht jede Person einige Sätze. Daraus entsteht ihr Stimmprofil. Im Betrieb wird der Fingerabdruck der aktuellen Äußerung mit allen Profilen verglichen (Kosinus-Ähnlichkeit). Der beste Treffer zählt nur, wenn er über einer einstellbaren Schwelle liegt. Sonst wird „Unbekannt“ gezählt. Kurze und lange Äußerungen werden dafür passend aufbereitet.

Messwerte

MessungErgebnis
Fehlerrate (EER) auf Sprechern, die das Netzwerk nie gesehen hat4,9 % (ohne Netzwerk etwa 24 %)
Trefferquote in einer Runde mit 5 Personen (am PC)etwa 99 %
Rechenzeit auf dem ESP32-P4etwa 0,13 Sekunden je 2-Sekunden-Ausschnitt

Einordnung: Die Testdaten bestehen aus sauberen Vorlese-Aufnahmen. Mit Tischmikrofonen, Raumhall, Abstand und durcheinandersprechenden Personen wird die Erkennung schlechter sein. Wie viel, prüfen wir derzeit mit eigenen Aufnahmen.

Die Richtung mit vier Mikrofonen

Schall braucht für 1 m etwa 2,9 ms. Trifft eine Stimme schräg auf das Gerät, erreicht sie die vier Mikrofone zu minimal verschiedenen Zeiten. Aus diesen Laufzeitunterschieden lässt sich der Winkel berechnen.

Die Mikrofone sitzen nur wenige Zentimeter auseinander. Die Unterschiede sind deshalb winzig, kleiner als ein einzelner Messwert. Die Laufzeit muss darum auf Bruchteile eines Messwerts genau bestimmt werden.

M1M2 M3M4 Abstand Schall vorne 0°

Draufsicht. M1 und M2 sitzen vorne, M4 und M3 hinten.

Schritt für Schritt

M1M2M3M46 Paare

1Paare bilden

Aus vier Mikrofonen ergeben sich 6 Paare (4 Seiten, 2 Diagonalen), allgemein N(N−1)/2.

τ0VerzögerungKorrelation

2Laufzeit je Paar (GCC-PHAT)

Von zwei Mikrofonsignalen wird das Kreuzspektrum gebildet und durch seinen Betrag geteilt, sodass nur die Phase übrig bleibt (Phase Transform). Die Rücktransformation ergibt eine Kurve mit einer scharfen Spitze bei der Laufzeit. Das macht das Verfahren unempfindlich gegen Nachhall und unterschiedliche Lautstärken.

Ausgewertet wird nur der Frequenzbereich, in dem Sprache liegt, und die Spitze wird zwischen den Messwerten interpoliert. Die Messung zählt nur in Fenstern, in denen Sprache erkannt wird.

τθ₁θ₂0°180°360°

3Winkel finden

Für eine weit entfernte Schallquelle gilt eine ebene Welle. Die Laufzeit eines Paares hängt dann nur vom Winkel θ ab:

τij = ( pj − pi ) · u(θ) / c   mit u(θ) = (sin θ, cos θ), c ≈ 343 m/s

pi und pj sind die Mikrofonpositionen. Ein einzelnes Paar liefert zwei mögliche Winkel (θ₁ und θ₂, vorne und hinten gespiegelt). Gesucht wird deshalb der Winkel, bei dem die vorhergesagten Laufzeiten aller sechs Paare am besten zu den gemessenen passen. Dabei gleicht sich auch das Messrauschen aus. Liegt die Stimme höher als die Mikrofone, wird auch das berücksichtigt.

vorne94°

4Ergebnis über 360°

Weil die Mikrofone in der Fläche liegen, ist der Winkel über den ganzen Kreis eindeutig. Mit nur zwei Mikrofonen (frühere Version) zeigt das Gerät deshalb nur den vorderen Halbkreis.

Einmal kalibrieren: Mit einer Stimme von vorne wird festgelegt, welche Mikrofonreihe vorne liegt, damit die Anzeige nicht gespiegelt ist.

Messwerte und Grenzen

MessungErgebnis
Kreistest mit Sprache, Gerät in 1 m Abstand0° → 0°, 90° → 90°, 180° → 170°, 270° → 264 bis 266°

Grenzen: Reine Töne eignen sich nicht, weil sich die Phase nicht eindeutig zuordnen lässt. Sprache oder Rauschen funktionieren. Eine laute feste Störquelle nahe an einem Mikrofon (zum Beispiel ein Lüfter) verfälscht die Messung. Sprechen zwei Personen gleichzeitig, zeigt das Gerät meist die lautere. Die Winkel sind Messwerte aus dem Prototyp und noch keine garantierte Genauigkeit.

Rauschen und Musik

Rauschfilter: Das Gerät lernt das Spektrum des Hintergrunds und führt es laufend nach. Steigt der Pegel dauerhaft, etwa wenn Musik einsetzt, passt sich das Profil an. Die Sprachaktivität wird nur in dem Frequenzbereich bewertet, in dem Sprache liegt, damit lauter Bass die Stimme nicht überdeckt. In der Simulation wurde Sprache über Musik erkannt, der Musikanteil nicht.

Takt-Erkennung: Es wird geprüft, ob ein gleichbleibendes Tempo vorliegt, wie bei Musik. Zurzeit wird der Takt nur angezeigt und noch nicht zum Ausblenden genutzt.

Fragen oder Ideen zur Technik?

Der Listener ist ein Prototyp. Die Umfrage zeigt uns, welche Funktionen wichtig sind.

Zur Umfrage