Soundverarbeitung mit dem Raspi

[hirnfrei]

Mahlzeit!

So los geht es mit der Erkennung von akustischen Geräuschen und deren Auswertung. Dazu setze ich die USB-Soundkarte von Conrad ein, ein Mikro von meinem Headset, den Raspberry Pi 3 und mal für den Anfang tinyalsa.

Edit: Tinyalsa ist vom Tisch. Es mag gut sein, aber bei derart mangelhafter Dokumentation für mich nicht zu gebrauchen. Weiter mit Alsa!

Ich hänge mal ein Bild an wie das aktuell aussieht. Da ist dann auch noch der Arduino dabei, der regelt eigentlich die Stromquelle vom Raspi, da aber derzeit die Akkus wegen dem schönen Wetter anderweitig im Einsatz sind und ich auch noch nicht ganz fertig bin (Ende des Monats ist das Geld meist knapp) bleibt der Teil jetzt erst einmal weg.

Ziel 0 (Durch die Anregung von HaWe):

Initialisieren einer wav-Datei und abspielen mittels Alsa.

Abgeschlossen 30.05.2016

Ziel 1:

tinyalsa dazu bringen das das was das Mikrofon aufnimmt auch nutzbar in den Raspberry gelangt. (Wegen tinyalsa verworfen)

Mein Code dazu bringen, Sound über das Mikrofon aufzunehmen und wieder abspielen

Abgeschlossen 02.06.2016

Ziel 2:

Eingegangene Daten so aufbereiten, dass sie für eine Spracherkennung mittels PocketSphinx nutzbar sind.

[HaWe]

da bin ich ja mal echt gespannt. Bis jetzt konnte ich mit tinyalsa ja noch NICHTMAL

Ziel 0:
nen wav sound ABSPIELEN !!

(s. https://www.roboternetz.de/community...e-und-Aufnahme)

[hirnfrei]

Ich habe mich jetzt noch nicht so intensiv mit tinyalsa beschäftigen können (irgendwie wollen Kinder immer Zeit für sich haben), aber dokumentiert ist das ja gar nicht gut!

[peterfido]

Hallo,

nein, in dem Paket steht auch etwas von Android. Da muss für das Raspi Debian wohl noch einiges angepasst werden. Da kann ich mehr schnellere Erfolge bei dem Code von aplay (und arecord) bei Eurem Vorhaben vorstellen. Das sollte sich als weiteren Thread gestartet auch relativ einfach so, wie es ist, steuern lassen. Von arecord aufgezeichnete Dateien müssen dann analysiert werden. Erstmal leise Geräusche rausfiltern, dann evtl. per mehreren Durchgängen das Aufgenommene entfeinern, bis sich ein Muster auch bei verschiedenen Aussprachen ergibt. Die Spitzen der verschiedenen Frequenzen lassen sich z.B. mittels FFT rausfinden. Das habe ich vor Jahren mal probiert, als ich für meinen Media-Player einen Sprectrum-Analyzer programmiert wollte. > Den habe ich dann einfach weggelassen Heute habe ich mehr Erfahrung und würde es in einigen Tagen auch hinbekommen, brauche ich aber nicht mehr.

Ich selbst spiele mittels MPD Audi-Dateien ab. Der bietet auch einige Schnittstellen. Aufnehmen tue ich nicht. Spracherkennung ist auch nicht so einfach mal eben selbst programmiert. Da haben einige Firmen Jahre für gebraucht und auch heute noch schicken Siri, Amazon und Google die Sounds in die Cloud und bekommen Text zurück. Evtl. gibt es da eine API, die sich nutzen lässt. Das bedeutet dann ständiges online sein.

Falls Ihr etwas fernsteuern möchtet, schlage ich statt Spracherkennung eine App vor. Das bedeutet eine neue Programmierumgebung. Soll es für Android und Apple sein, zwei Programmierumgebungen. Oder einen Webserver auf dem Raspi und auf dem Smartphone / Tablet per Browser. Mittels Ajax lässt sich da schon was optisch ansprechendes erstellen.

[HaWe]

hallo,
aplay und arecord das sind ja externe Programme, d.h. die müssten per system Befehl innerhalb des C programms abgespielt werden, was dann auch die Portierbarkeit des Codes sehr einschränkt (z.b: Win10, falls es das mal für Raspi gibt oder auch für ganz andere Plattformen).
Schade, dass es keine originalen und frei portierbaren C/C++ API libs dafür gibt.
Aber was haben wir für eine Wahl, wenn nur aplay / arecord zur Verfügung steht... :-/



Ich würde persönlich dann auch nicht den 2. Schritt vor dem 1. tun und erstmal einen Player implementieren, der automatisch das Soundfile Format beliebiger wavs erkennt und dann abspielt.

Ich führe den Player-Gedanken mal weiter in dem Player-Thread....

https://www.roboternetz.de/community...e-und-Aufnahme

[peterfido]

Hallo,

der Code von aplay ist frei verfügbar. Der Spracherkennung gebe ich nicht viel Erfolg. Eben gerade mit der Hotline der Telekom telefoniert. Der dämliche 'Automat', zu Beginn des Telefonates, versteht nicht mal ein 'Ja', welches bequem ausreichend laut per Freisprechfunktion mit leisem Radio im Hintergrund gesagt wurde. Dann habe ich eben mal mit Google 'gesprochen'. Was der da so teilweise versteht, ist echt abenteuerlich. Lustig ist die Antwort auf 'OK Google - Wer bin ich?'