.htaccessでmemory_limitの指定なし(既定値の128M)と、512Mでダウンロード件数に違いがなければ
.htaccessが効いていないか、メモリとは別件かと思います。


こちらにあるようにCSVの登録・出力のときだけ変更するのが妥当だと思いますが、
https://xoops.ec-cube.net/modules/newbb/viewtopic.php?topic_id=18798&forum=11&post_id=80942

運用中のサイトでなければ、html/index.phpに書いて実験してみても良いかも知れません。
そのときini_setでdisplay_errorsがOffになっていると思うのでOnにするとメモリ不足で
500エラーの場合だとPHPのエラーが画面にでます。

運用中なら無制限(-1)指定ではない方がいいと思います。
あとdisplay_errorsも変えずにやった方が良いですね。
まずはmemory_limitを512Mでやって、変更前と件数が変わるか確認してみてください。