確認：Windows10　2019年4月

リモートデスクトップで接続したコンピューターの履歴はレジストリに保存されていて、以下の手順で削除可能。

Windowsキー＋Rを押下しファイル名を指定して実行を起動
↓
regeditと入力しOKクリックでレジストリエディターを起動
↓
HKEY_CURRENT_USER\Software\Microsoft\Terminal Server Client\Default　まで移動
↓
「MRU0」から「MRU9」まで最大10個の文字列値で履歴が保存されている
※コンピューター名が各文字列値のデータに記載
↓
不要なものを右クリック→削除

また、直近の物（リモートデスクトップ起動時に入力された状態で表示されるもの）は別途ドキュメント内に「Default.rdp」という名前の隠しファイルとして保存されているので、これを削除することで起動時に表示されなくなります。

各種対応は自己責任でお願いします。