どうか教えて頂きたいです。

以下の環境で構築しています。
[EC-CUBE] 4.1.1
[レンタルサーバ] お名前.com　VPSサーバー
[OS] Ubuntu 20.04
[WEBサーバ] Apache/2.4.41

httpでのアクセスはできているのですが、管理画面にhttpsでアクセスしないとSSLが有効に出来ないとのことなので、いろいろ調べて以下のように記載しました。

/var/www/html/ec-cube　配下の.htaccessに

<IfModule mod_rewrite.c>

　　RewriteEngine On

RewriteRule ^(.*) - [E=HTTPS:on]
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://hogehoge.com/$1 [R=301,L]

下3行を追記するとhttpでのアクセスがhttpsになり、管理サイトにアクセスできなくなりました。

Apacheのconfファイル
/etc/apache2/sites-available/default-ssl.conf
に以下の記述を行ったらいいとの情報もあり、よくわからなくなっています。。。

RewriteRule ^(.*) - [E=HTTPS:on]
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://hogehoge.com/$1 [R=301,L]


解決方法が分からず、ご教授頂きたいです。