アップデートプラグインをDLするところまでは行われているかと思いますので、
EC-CUBEの管理画面 > オーナーズストア > プラグイン一覧 から、
インストールしたアップデートプラグインの歯車マークをクリック

するとアップデート実行画面が表示されますので、
4.0.3→4.0.4、
4.0.4→4.0.5、
4.0.5→4.0.6
の順にアップデートプラグインを１つずつ実行し、
１バージョンずつアップデートする手順となります。

今回のバージョンとは異なりますが、
「EC-CUBEアップデートプラグインを試してみた」という記事がありましたのでご参考になるかと思います。
http://coelacanth.jp.net/ec-cube_update_400_to_401/

なお、アップデートの際にエラーが出ることも多いようですので、
必ずバックアップをお取りになり、不具合が生じれば元の状態に復元できるような準備は必ず整えておくことをおすすめします。