解決できたので、自分の為にも解決方法を残しておきます。

まずXserverのサーバーパネルへアクセスして、データベース管理画面へログイン。(phpmyadmin)

そこから、テーブル: dtb_pluginの編集。（編集前に念の為、データエクスポート）

不具合が出ている「EccubeUpdater405to406」を探して、削除。

Shopページ管理画面に戻り、プラグイン一覧内から消えていることを確認。
リロードしても、再表示されないが、認証キー設定より認証キー入力済だが再度登録ボタンをクリック。

プラグイン一覧最下部にアップデートプラグインが再表示され、インストールボタンが復帰。

以上が私が解決した方法です。