Guten Tipp!
Dabei habe ich bemerkt, dass ich vergessen hatte, dass in dem Base64 vor und hinter dem
XML noch irgendwelche Zertifikate stehen, also Binärdaten. Die brauche ich nicht, also decodiere ich jetzt erst in einen MemoryStream und lese daraus nur das war ich brauche in den StringStream.