Ich hab ja bisher nicht allzuviel Code gesehen, dennoch meine Vermutung:
FastMM skaliert schlecht, wenn in mehreren Threads strings oder dynamische Arrays vergrößert bzw. instanziert werden.
Hier eine ausführliche Abhandlung darüber...
Ist es bei dir der Fall?