Du darfst die Position nicht zurücksetzen.
Du stehst nach dem LoadFromFile schon an der letzten Position.
Daher brauchst du jetzt nur noch zu schreiben und das Byte wird angehängt.
Delphi-Quellcode:
myStream := TMemoryStream.Create;
myStream.LoadFromFile(eine Datei);
//myStream.Position := myStream.Size-1;
myStream.Write(Byte,1);