Digitalisierte Notenblätter - Als müsste ein Computer eine Ameise im Ameisenhaufen erkennen

ZHAW-Forscher entwickeln ein neues Verfahren, mit dem Computer dank Deep-Learning digitalisierte Noten erkennen können.

Noten, könnte man meinen, sind wie Text: Sie laufen von links nach rechts über die Seite. Doch Noten haben auch eine Dimension, die in die Höhe geht: Akkorde. Und ihre Bedeutung ist kontextabhängig – ein Punkt etwa kann je nach Position ein Stakkato oder eine Synkope bedeuten.

Mühseliges Erfassen und Bearbeiten

Weil Noten so komplex sind, waren Verfahren zur automatiserten Erkennung (OMR, «Optical Music Recognition») bislang fehleranfällig. Noten einzuscannen und in einem Notensatzprogramm weiter zu bearbeiten, war entsprechend mühsam.

Denn eingescannte Noten, die nur als Bild oder PDF vorliegen, kann beispielsweise ein Notensatzprogramm nicht direkt verarbeiten. Sondern erst, wenn aus dem Bild eine Sammlung von Informationen wurde, die angibt, wo auf der Seite welche Notensymbole wie angeordnet sind.

Ein grosser Datensatz musste her

Eine Forschungsgruppe der ZHAW hat nun ein spezielles Verfahren mittels Deep-Learning entwickelt, das Noten schneller und effizienter als bisherige Verfahren erkennt. Dafür mussten die Forscher erst einen Datensatz mit hunderttausenden von Noten erstellen, um das Deep-Learning-Modell zu trainieren.

Lukas Tuggener (links), Doktorand an der ZHAW, und Thilo Stadelmann, Leiter der Forschungsgruppe und Informatik-Dozent an der ZHAW.

ZVG / ZHAW

Dann galt es ein weiteres Problem zu meistern: Gängige Deep-Learning-Verfahren sind gut darin, Fussgänger auf einer Strasse, Katzen im Gras oder Gesichter auf Fotos zu erkennen – also grosse Objekte, die gut abgegrenzt im Bild sind.

Aber viele kleine Objekte auf einem Haufen, etwa Ameisen in einem Ameisenhaufen, bereitete bisherigen Verfahren Mühe. Viele Noten auf einer Seite sind vergleichbar mit Ameisen – Noten-Ameisen.

Was ist Deep Learning?

Deep Learning bezeichnet den Vorgang, wie ein Computer selber anhand von hunderttausenden von Beispielen Gesetzmässigkeiten lernt, um beispielsweise Gesichter auf einem Bild zu erkennen. Anhand dieses Modelles kann er danach neue, noch nie gesehene Gesichter erkennen. Er lernt also, selber den Zusammenhang zwischen einem Input (Bild) und dem Output (Gesicht) zu erstellen.

Möglich machen es mehrere Schichten zwischen Input und Output, wobei jede Schicht aus mehreren «Neuronen» besteht, die Entscheidungen über ihren jeweiligen Input treffen. Bei jeder Schicht lernt der Computer eine bestimmte Gesetzmässigkeit, etwa die Kanten oder die Farbverteilung an gewissen Stellen im Bild und so weiter.

Weil die Anordnung der Schichten und der Lernvorgang dem menschlichen Gehirn ähneln, spricht man mittlerweile oft synonm von einem «Neuronalen Netz».

Noten-Ameisen erkennen

Das neue Deep-Learning-Verfahren der ZHAW hat all diese Hürden überwunden. Es könnte sogar über die Notenerkennung hinaus Anwendung finden: «Unser System ist letztlich eines, das kleine Objekte in einem grossen Kontext mit hoher Genauigkeit erkennen kann. Es gibt viele andere Anwendungsmöglichkeiten ausserhalb der Musik, etwa in der Medizin», bestätigt Thilo Stadelmann, der an der ZHAW doziert und die Forschungsgruppe leitet.

Eine Anwendungsmöglichkeit für digitalisierte Noten: Das digitale Notenpult.

ZHAW

Am jetzigen Modell gilt es noch Vieles zu verbessern. Derzeit funktioniert es bestens mit «idealen» Noten, die nie die reale, analoge Welt gesehen haben.

Noten, die in schlechter Qualität eingescannt wurden und voller Handnotizen, Knitter und Kaffeeflecken sind, bereitem dem Modell noch Mühe. Es ist auch noch keine Anwendung erhältlich, die das System der ZHAW implementiert.

Das Notenpult wird digital

Cristina Urchueguía, Professorin für Musikwissenschaft an der Universität Bern, ist sehr interessiert an den Ergebnissen der ZHAW: «Man wartet seit Jahren auf ein solches Verfahren, um Noten effizient in ein digitales Format überführen zu können.»

Digitale Musik-Archive gibt es zwar zuhauf, etwa die «Petrucci Music Library», die jedoch nur aus eingescannten Noten – Bildern – besteht.

Digital ist besser

Neben der Archivierung könnte das neue Verfahren auch den Musik-Alltag grundsätzlich verändern. Etwa mit einem digitalen Notenpult, das der Pianistin zuhört und automatisch die Seiten umblättert.

Wo und wie das Verfahren der ZHAW eingesetzt werden kann, muss sich noch zeigen – vor allem Musiker innerhalb der Klassik bevorzugen häufig noch Papier und Bleistift in den Proben. Trotzdem hat dieses neue Notenerkennungsverfahren das Potential, ähnliche Umbrüche herbeizuführen, für die die Digitalisierung in der Film- und Bücherwelt sorgt.