ご返答ありがとうございます。

バッチ処理だと、リアルタイムな情報の取得は難しいので、
あまり取り入れたくないと考えています。

フェッチさせたり、分割取得 (OFFSET & LIMIT)を取り入る件、
ありがとうございます。
検討したいと思います。

上記とは別で、
出力ファイルをメモリに達しない量で分割して出力し、
その後、結合することは可能でしょうか。