Danke für die schnellen Antworten.
Also ich habe eure Vorschläge getestet und 'TiGü' sowie 'Der schöne Günther' hatten recht

es lag nur daran, dass ich dem anderen Dateipfad nicht den neuen Namen der Datei zugewiesen habe.
Jetzt funktioniert es

Dankeschön
Außerdem habe ich meinen Code etwas umgeschrieben in:
MoveFile(PChar('C:\Users\Public\Documents\test.txt'), PChar('C:\Users\Public\Downloads\test.txt'));