Du löscht nur wenn die Länge des String genau 1 ist. Dann würde reichen:
Delphi-Quellcode:
procedure TForm1.BinaerChange(Sender: TObject); // Change also direkt bei eingabe
begin
If ((Binaer.Text = '1') or (Binaer.Text = '0')) then Binaer.Text := '';
end;