Prima dello scioglimento del Volksbildungsverein Wiesbaden, avvenuto il 15 febbraio 1936, nel 1934 l'intero patrimonio della Volksbüchereien fu trasferito alla città di Wiesbaden, compresa una piccola collezione di spartiti. La data di fondazione della biblioteca musicale (ora Biblioteca musicale di Wiesbaden) si trova in una relazione sul suo 50° anniversario: 28 aprile 1937. La collezione nella Rheinstraße, che all'epoca comprendeva circa 1800 articoli musicali, includeva principalmente spartiti per pianoforte, voce e riduzioni per pianoforte".

La collezione crebbe solo lentamente. Solo nel 1953 il dottor Wolfgang Sichardt, musicologo e bibliotecario, fu nominato specialista di musica nella Schützenhofstraße, dove le biblioteche pubbliche e musicali erano ancora ospitate sotto lo stesso tetto. Gestì la collezione fino al 1976 e durante questo periodo catalogò circa 9500 spartiti e 2600 libri di saggistica. Già nel 1956 iniziò a costruire una collezione di dischi, oggi archivio discografico della biblioteca musicale. Sotto la sua direzione, la collezione è cresciuta fino a raggiungere un totale di 15.250 unità multimediali.

La costante espansione richiedeva locali adeguati. Nel 1964 la biblioteca musicale si trasferì in una sede propria in Bierstadter Str. 1, separata dalla biblioteca pubblica.

Dopo che Uta Strobel ne assunse la direzione nel 1976, il successivo trasferimento in Humboldtstr. 6 avvenne nel 1977. In una villa classicista, su una superficie di circa 220 metri quadrati, fu presentata una collezione musicale di grande pregio. Gli spartiti, che all'epoca potevano essere presi in prestito solo tramite macchine a schede, furono riorganizzati in una moderna collezione ad accesso libero; un lavoro lungo che fu completato solo nel 1991.

In occasione del 50° anniversario della biblioteca musicale, nel 1987, Uta Strobel ha iniziato a costituire una collezione di CD. Oggi i visitatori possono scegliere tra oltre 18.000 CD. Ancora una volta, sono stati soprattutto i vincoli di spazio a costringere la biblioteca a trasferirsi nuovamente nel 1992, questa volta in Sonnenberger Str. 14, vicino al Kurhaus e al Teatro di Stato dell'Assia. Su 600 metri quadrati, gli appassionati di musica poterono trovare ciò che cercavano in una collezione che era ormai cresciuta fino a 47.000 unità multimediali. Ufficialmente, la nuova sede era considerata una soluzione provvisoria. Un ulteriore trasloco fu annunciato presto. Nel novembre 1999 la biblioteca si trasferì in Schillerplatz 1-2, nelle immediate vicinanze della Scuola di Musica e Arte di Wiesbaden, dell'Accademia Musicale di Wiesbaden, dell'Ufficio Culturale, del Provveditorato agli Studi e del Dipartimento della Cultura, questa volta sotto la direzione di Claudia Monien (dal 1995). A partire dal 2000 è iniziata la raccolta dei dati dell'inventario, che si è protratta fino all'estate del 2005. Da allora, il software della biblioteca ha facilitato il prestito quotidiano e la ricerca e offre al pubblico interessato un servizio di catalogazione online.

Oggi la biblioteca musicale, con la sua fornitissima collezione di spartiti, libri di saggistica e supporti audiovisivi e l'archivio discografico, è un importante punto di contatto per amatori e professionisti di tutti i settori della musica. Anche l'associazione di sostegno alla biblioteca musicale "Prima La Musica" ha svolto un ruolo fondamentale in questo successo dal 1998.

Nel 2014 la biblioteca musicale si è trasferita nei nuovi locali della Mauritius Mediathek in Hochstättenstraße insieme alla Biblioteca centrale delle Biblioteche della città di Wiesbaden e al Media Centre.