【解決しました】

コメントありがとうございます。
meta 関連にキャッシュの記述はありませんでした。

その後調べていったところ、jquery mobile を読み込まないようにすれば、この問題は発生しないことがわかりました。jquery mobile のどの部分が影響しているのかは分かりません。

そして、jquery mobile を読み込まない状態であれば、当初の投稿に書いたキャッシュ関係の記述に関係なく、縦位置を保持することがわかりました（キャッシュの問題ではなかったということになります）。

jquery mobile を全体で無効にする方向で調整しようと思います。