Und wie wird der Zugriff auf den zentralen Server geregelt und welcher User auf welche Repo's zugreifen darf?
Ganz einfach, jeder der vom Betriebssystem Zugriff auf das Repo-Verzeichnis bekommt hat den auch über git (bzw. eben nicht). Bisher klangen deine Beschreibungen aber nicht danach, dass du großartige Nutzerverwaltung benötigen würdest. Wenn das doch der Fall ist, wäre natürlich etwas wie GitStack angebracht. Die machen dann aber "unter der Haube" auch nichts anderes, als Zugriffsrechte auf Verzeichnisse zu setzen. Es gibt halt einfach keinen "zentralen Server" bei Git. Das was du haben willst, ist aus Git-interner Sicht nichts anderes, als ein weiterer clone des Repositories.