Zum Inhalt springen

Header

Navigation

Legende: Audio Wie ein Computer Noten mittels Deep-Learning erkennt abspielen. Laufzeit 03:26 Minuten.
Aus SRF 2 Kultur Live vom 28.06.2019.
Inhalt

Digitalisierte Notenblätter Als müsste ein Computer eine Ameise im Ameisenhaufen erkennen

ZHAW-Forscher entwickeln ein neues Verfahren, mit dem Computer dank Deep-Learning digitalisierte Noten erkennen können.

Noten, könnte man meinen, sind wie Text: Sie laufen von links nach rechts über die Seite. Doch Noten haben auch eine Dimension, die in die Höhe geht: Akkorde. Und ihre Bedeutung ist kontextabhängig – ein Punkt etwa kann je nach Position ein Stakkato oder eine Synkope bedeuten.

Mühseliges Erfassen und Bearbeiten

Weil Noten so komplex sind, waren Verfahren zur automatiserten Erkennung (OMR, «Optical Music Recognition») bislang fehleranfällig. Noten einzuscannen und in einem Notensatzprogramm weiter zu bearbeiten, war entsprechend mühsam.

Denn eingescannte Noten, die nur als Bild oder PDF vorliegen, kann beispielsweise ein Notensatzprogramm nicht direkt verarbeiten. Sondern erst, wenn aus dem Bild eine Sammlung von Informationen wurde, die angibt, wo auf der Seite welche Notensymbole wie angeordnet sind.

Ein grosser Datensatz musste her

Eine Forschungsgruppe der ZHAW hat nun ein spezielles Verfahren mittels Deep-Learning entwickelt, das Noten schneller und effizienter als bisherige Verfahren erkennt. Dafür mussten die Forscher erst einen Datensatz mit hunderttausenden von Noten erstellen, um das Deep-Learning-Modell zu trainieren.

Zwei Männer stehen vor einem Plakat, das die Details zu den Forschungsergebnissen auflistet.
Legende: Lukas Tuggener (links), Doktorand an der ZHAW, und Thilo Stadelmann, Leiter der Forschungsgruppe und Informatik-Dozent an der ZHAW. ZVG / ZHAW

Dann galt es ein weiteres Problem zu meistern: Gängige Deep-Learning-Verfahren sind gut darin, Fussgänger auf einer Strasse, Katzen im Gras oder Gesichter auf Fotos zu erkennen – also grosse Objekte, die gut abgegrenzt im Bild sind.

Aber viele kleine Objekte auf einem Haufen, etwa Ameisen in einem Ameisenhaufen, bereitete bisherigen Verfahren Mühe. Viele Noten auf einer Seite sind vergleichbar mit Ameisen – Noten-Ameisen.

Was ist Deep Learning?

Deep Learning bezeichnet den Vorgang, wie ein Computer selber anhand von hunderttausenden von Beispielen Gesetzmässigkeiten lernt, um beispielsweise Gesichter auf einem Bild zu erkennen. Anhand dieses Modelles kann er danach neue, noch nie gesehene Gesichter erkennen. Er lernt also, selber den Zusammenhang zwischen einem Input (Bild) und dem Output (Gesicht) zu erstellen.

Möglich machen es mehrere Schichten zwischen Input und Output, wobei jede Schicht aus mehreren «Neuronen» besteht, die Entscheidungen über ihren jeweiligen Input treffen. Bei jeder Schicht lernt der Computer eine bestimmte Gesetzmässigkeit, etwa die Kanten oder die Farbverteilung an gewissen Stellen im Bild und so weiter.

Weil die Anordnung der Schichten und der Lernvorgang dem menschlichen Gehirn ähneln, spricht man mittlerweile oft synonm von einem «Neuronalen Netz».

Noten-Ameisen erkennen

Das neue Deep-Learning-Verfahren der ZHAW, Link öffnet in einem neuen Fenster hat all diese Hürden überwunden. Es könnte sogar über die Notenerkennung hinaus Anwendung finden: «Unser System ist letztlich eines, das kleine Objekte in einem grossen Kontext mit hoher Genauigkeit erkennen kann. Es gibt viele andere Anwendungsmöglichkeiten ausserhalb der Musik, etwa in der Medizin», bestätigt Thilo Stadelmann, der an der ZHAW doziert und die Forschungsgruppe leitet.

Ein Pianist spielt Klavier und schaut auf ein digitales Notenpult.
Legende: Eine Anwendungsmöglichkeit für digitalisierte Noten: Das digitale Notenpult. ZHAW

Am jetzigen Modell gilt es noch Vieles zu verbessern. Derzeit funktioniert es bestens mit «idealen» Noten, die nie die reale, analoge Welt gesehen haben.

Noten, die in schlechter Qualität eingescannt wurden und voller Handnotizen, Knitter und Kaffeeflecken sind, bereitem dem Modell noch Mühe. Es ist auch noch keine Anwendung erhältlich, die das System der ZHAW implementiert.

Das Notenpult wird digital

Cristina Urchueguía, Professorin für Musikwissenschaft an der Universität Bern, ist sehr interessiert an den Ergebnissen der ZHAW: «Man wartet seit Jahren auf ein solches Verfahren, um Noten effizient in ein digitales Format überführen zu können.»

Digitale Musik-Archive gibt es zwar zuhauf, etwa die «Petrucci Music Library, Link öffnet in einem neuen Fenster», die jedoch nur aus eingescannten Noten – Bildern – besteht.

Digital ist besser

Neben der Archivierung könnte das neue Verfahren auch den Musik-Alltag grundsätzlich verändern. Etwa mit einem digitalen Notenpult, das der Pianistin zuhört und automatisch die Seiten umblättert.

Wo und wie das Verfahren der ZHAW eingesetzt werden kann, muss sich noch zeigen – vor allem Musiker innerhalb der Klassik bevorzugen häufig noch Papier und Bleistift in den Proben. Trotzdem hat dieses neue Notenerkennungsverfahren das Potential, ähnliche Umbrüche herbeizuführen, für die die Digitalisierung in der Film- und Bücherwelt sorgt.

7 Kommentare

Navigation aufklappen Navigation zuklappen

Sie sind angemeldet als Who ? (whoareyou) (abmelden)

Kommentarfunktion deaktiviert

Uns ist es wichtig, Kommentare möglichst schnell zu sichten und freizugeben. Deshalb ist das Kommentieren bei älteren Artikeln und Sendungen nicht mehr möglich.

  • Kommentar von Peter Isler  (SchweizerQualität)
    Ich bin mir sicher, der Algorithmus funktioniert ganz gut. Aber das Problem ist ganz anders als im Artikel suggeriert wird dann doch sehr simpel (speziell wenn es erst auf "unbeschmutzen" Notenblättern funktioniert). Optimale Notenblätter einlesen kann man mit klassischem Engineering, da kann mir niemand was anderes erzählen: eingeschränktes Set an Symbolen, klare Strukturen, nur schwarz-weiss... Viel einfacher geht's nimmer in Sachen Computer Vision, sorry.
    Ablehnen den Kommentar ablehnen
  • Kommentar von M. Roe  (M. Roe)
    Vor allem würde es der Musik das Wichtigste wegnehmen. Die Emotion +die Intelligenz. Natürlich gibt es auch heute Musiker welche die Musik einfach wie das 1x1 auswendig lernen. Aber aus richtig guter Musik hört man die Emotionen +den Charakter des Musikanten heraus. Heute wird versucht, alles in einem "Einheitsbrei" zu verstampfen: Musik, Menschen, Tiere, Länder, Bräuche usw. Wir sind auf allen Ebenen daran, die schöne Erde zu vernichten! Vielleicht gibt es auch mal junge Leute welche das sehen!
    Ablehnen den Kommentar ablehnen
    1. Antwort von Peter Isler  (SchweizerQualität)
      Klaar, als ob bei elektronischer Musik alles exakt im mathematischen Raster ist... Da kann man nur sagen: Sie haben keine Ahnung...
      Ablehnen den Kommentar ablehnen
  • Kommentar von Harry Greis  (Harry Greis)
    Mit der Software von Scapella-Scan 8 lese ich seit Jahren Noten ein und verarbeite sie dann mit Cubase. Es gibt aber neben Cubase auch etliche andere Notenbearbeitungsprogramme, welche die eingescannten Noten erkennen. Man darf ein neues Produkt vorstellen, aber man sollte nicht immer so tun, als hätte man eben gerade die Sensation erfunden.
    Ablehnen den Kommentar ablehnen
    1. Antwort von Méline Sieber, SRF Digital (SRF)
      @Harry Greis im Artikel wird kein Produkt, sondern ein Verfahren vorgestellt, das neu ist - die Analyse der Noten verwendet Deep Learning. Bisherige Notenerkennungsprogramme arbeiteten mit "Machine Learning", was fehleranfällig und langsam ist, da es via Muster die Noten zu erkennen versucht, statt wie beim Deep Learning den Kontext. Was nach der Analyse herauskommt, ist dasselbe (MusicXML).
      Ablehnen den Kommentar ablehnen