当方はあまりこのあたりは詳しくはない為、色々と試してみてなんとかできたという感じでしたので、これでできるという確証はありませんが、このような流れでした。

1、Let's EncryptのISRG Root X1のルート証明書のpemファイルをダウンロード（ https://letsencrypt.org/certificates/ ）

2、サーバーのcert.pemに追加をする必要があるので、ダウンロードしたpemを以下に設置
/etc/pki/ca-trust/source/anchors

※直接cert.pemに追加だと証明書の更新コマンド叩くと消えたので、別の箇所に設置する必要がありました。また、ここはサーバーによって設置場所が違うかもです。

3,古いルート証明書（DST Root CA X3）が残った状態となっているので、これを消さないと動かなかったので消す。（ここがハマりました・・）
/usr/share/pki/ca-trust-source/ca-bundle.trust.p11-kit

※私の場合はここでしたがOSによって場所が違うかもです。grepかけて探してみると良いかもしれません。

4、最後に証明書の更新コマンドを叩く
update-ca-trust extract

5、nginx再起動

以上です。