fmod oder bass?

[Gausi]

Die bass.dll darf man in Freeware-Projekten kostenlos verwenden und die entsprechenden Dateien (z.B. die bass.dll) mit zum Download anbeiten. Für kommerzielle Software (auch Shareware) wird eine entsprechende kostenpflichtige Version benötigt. Da hast du also keine Probleme zu befürchten.

Zu den Plugins: Ja, auch die werden recht schnell geladen. Aber da kann es zu Problemen kommen, gerade auch in deinem Beispiel. Das für m4a-Wiedergabe nötige Plugin für die bass.dll (bass_aac.dll) steht unter der GPL. D.h. wenn du das benutzt, muss deine Software auch unter der GPL stehen (d.h. z.B. dass du den Quellcode offenlegst, und dem Anwender Modifikationen und Weiterverbreitung des veränderten Programms erlaubst).
Eine Möglichkeit, das zu umgehen ist, ein Plugin-System für dein Programm zu schreiben, was bei Programmstart alle bass_XXX.dlls lädt und deinem Programm die entsprechenden unterstützten Dateitypen verrät. Ein Delphi-Beispiel ist dabei. Wenn der User dann m4a-Dateien abspielen möchte, soll er sich von der bass-Seite das Plugin runterladen und benutzen. Auf diese Weise verletzt du die GPL nicht, auch wenn dein Projekt Closed-Source ist.