予想されている通り、PHPのメモリ設定（memory_limit）によってダウンロードの処理が中断されていると思います。

メモリの設定値を変更してダウンロード出来る量を増やすという事で対応が可能と思います。
(PHP.iniの設定は方法はサーバによって異なる為、レンタルサーバのサポートを確認してください)
ただしレンタルサーバの為、設定値の上限は存在していると思いますので、
運用に支障のない範囲でメモリを設定してください。

>それとも、ECCUBEのソースコードを書き換えることでメモリ不足時にCSVダウンロードを中止しないようにできますでしょうか？
こちらについてはサイトを守る仕組みの為、処理を中止させないという事は難しいと思います。
1処理が途中で止まってしまう事よりも、サーバが異常を起こしてサイト運営が止まってしまうほうが重大な問題と考えられていると思います。

----------------
株式会社シロハチ
■ECCUBE2系、3系構築カスタマイズご相談ください。
■EC-CUBE3マニュアル
■blog