> バッチ処理だと、リアルタイムな情報の取得は難しいので、
> あまり取り入れたくないと考えています。

WEB からキックをかけるような仕組みを用意すれば、2,3分程度でフィードバックを得るのは可能かと思います。

秒単位のリアルタイム性が必要な場合、難しいですが・・・


> 出力ファイルをメモリに達しない量で分割して出力し、
> その後、結合することは可能でしょうか。

現状の運用体制を把握していないので断言はできませんが、一般論としては可能だと思います。

例えば、どこまでを取得したかをセッションに保存して、繰り返しダウンロードを行うなど。

----------------
Seasoft
こちらでの投稿は、アイディア程度に留めさせていただいております。
個別案件の作業は有償で承っております。お気軽にご相談ください。