[EC-CUBE] EC-CUBE3.0.18　→　EC-CUBE4.2.2
[OS] Windows11
[PHP] PHP8.1
[データベース] MySQL 10.4.24-MariaDB
[WEBサーバ] Apache/2.4
[ブラウザ] Chrome、FireFox最新版
[導入プラグインの有無] 有
[カスタマイズの有無] 有
[現象]

先日EC-CUBE3から4へのデータ移行でカートに商品が入らなくなったと質問した者です。
こちらは配送方法のステータスを確認することで解決いたしました。ありがとうございました。

また別の問題が発生したので質問させてください。
データ移行プラグインで、一見データ移行完了したように見えるのですが、移行されたデータを確認すると、件数が合ってなく、2～4件の抜けが発生します。
抜けるデータに法則性はなく、特にイレギュラーな値の入っているデータにも見えません。
何度かEC-CUBEのクリーンインストールからやり直しましたが、毎回異なるデータが抜け落ちます。


WindowsのXAMPP特有の現象かも知れないと思い、リプレイス先の本サーバ(AlmaLinux)でも試しましたが、現象変わらずでした。

このような現象に合われた方はいらっしゃいますか？

抜け落ちたデータを後から個別に入れる方法も考えましたが、その場合外部キーとの紐付けが保たれるのか疑問です。

ご教授いただけると幸いです。

どのデータに抜けが発生しますか？

それにも法則性がなく、ある時は商品データが抜けていたり、ある時は支払方法が抜けていたりするということでしょうか？

----------------
-------------------

EC-CUBEカスタマイズ・バージョンアップ・不具合修正(状況調査は無料)
ゴールドパートナー。

現時点で確認できているのかdtb_customerです。
毎回異なる顧客データが抜け落ちます。

> 現時点で確認できているのかdtb_customerです。
> 毎回異なる顧客データが抜け落ちます。

dtb_customerテーブルのテーブル構造をカスタマイズしていたりしますか？
PHPのメモリ割り当てが不足していたりしませんか？
データ移行の際のログは確認できますか？

----------------
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
EC-CUBEインテグレートパートナー【ゴールド】ランク
M&I Works
URL: https://miworks.biz/
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

引用：

これはCSVデータを変えずに同じデータを取り込んで発生するということですか？

----------------
-------------------

EC-CUBEカスタマイズ・バージョンアップ・不具合修正(状況調査は無料)
ゴールドパートナー。

> dtb_customerテーブルのテーブル構造をカスタマイズしていたりしますか？

テーブル構造はカスタマイズしていませんが、プラグインで下記カラムが追加されています。

32 customer_rank_id
33 plg_mailmagazine_flg
34 check_date

> PHPのメモリ割り当てが不足していたりしませんか？

データ移行の完了画面は表示されるので、メモリ不足は起こしてないと思いますが、10240M割り当てています。

なお、dtb_customerには77958件のデータが入っているのですが、何度か試行したところ、8回目で全件入ったのが確認できました。

1回目 77957件
2回目 77957件
3回目 77957件
4回目 77957件
5回目 77955件
6回目 77955件
7回目 77955件
8回目 77958件

データ移行には毎回10分程度かかっており、後日改めて本番から最新のバックアップを取って移行するため、できれば一度で済ませたいところです。

> データ移行の際のログは確認できますか？

EC-CUBEのログには、以下のようなWARNINGが出力されていました。
一部マスクしてますがご了承ください。

ConfigController.php:1597
[2024-02-12T17:32:18.386817+09:00] php.WARNING [46a030d4] [00d92de] [1] [Symfony\Component\ErrorHandler\ErrorHandler:handleError:538] - Warning: Undefined array key 3 {"exception":"[object] (ErrorException(code: 0): Warning: Undefined array key 3 at C:\\xampp\\htdocs\\path_to_eccube\\app\\Plugin\\DataMigration42\\Controller\\Admin\\ConfigController.php:1597)"} [POST, /admin_path/data_migration42/config, ::1, http://FQDN/path_to_admin/data_migration42/config, Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36]

よろしくお願いいたします。

> これはCSVデータを変えずに同じデータを取り込んで発生するということですか？

はい。毎回同じデータをアップロードしています。

デバッグしてみないことには分からないですね・・。
移行実行時のエラーなのか(MariaDBでエラー出ていないか)
移行後に何らかの理由で消えているのか
移行データに問題があるのか
そのあたりの切り分けからになるのではないかと思います。

----------------
-------------------

EC-CUBEカスタマイズ・バージョンアップ・不具合修正(状況調査は無料)
ゴールドパートナー。

ありがとうございます。

移行データに問題があれば毎回失敗すると思うのですが、何度か試行すると全部入ることもあるのが不思議です（毎回同じデータを使用しています）。

クエリーログを確認してみましたが、20件ずつREPLACE文で投入しているようで、その中に抜け落ちた顧客IDのデータも入っていました。

REPLACE INTO dtb_customer
(id, customer_status_id, sex_id, job_id, country_id, pref_id, name01, name02, kana01, kana02, company_name, postal_code, addr01, addr02, email, phone_number, birth, password, salt, secret_key, first_buy_date, last_buy_date, buy_times, buy_total, note, reset_key, reset_expire, point, create_date, update_date, discriminator_type, customer_rank_id, plg_mailmagazine_flg, check_date)
VALUES ( 20件分の顧客データ )

REPLACEに失敗することってあるのでしょうか。
または、この時点でデータは投入されていて、その後の処理で抜け落ちる可能性もあるのでしょうか。

他に調べる方法があればご教授いただければと思います。

クエリーログにDELETEされていそうな箇所はなかったということでしょうか？
投入失敗や外部キー関連のエラーログが出ていないでしょうか？

REPLACEはユニークキーが重複した場合でもDELETE & INSERTですのであやしい気はします。

上で移行データに問題がある可能性と書いたのは、移行元ではユニークキーがなかったが移行先でユニークキーがあってREPACEされていることを想定したのですが、毎回結果が違うことは説明が難しそうです。

また、実行が終わった際は全量登録されていて、画面にアクセスすると消えるなどということもサイトの状況によっては考えられなくはないです。

REPLACEを実行するたびに、その時点で想定される数のレコードが入っているかSELECTして確認してみるのはどうでしょうか。

----------------
-------------------

EC-CUBEカスタマイズ・バージョンアップ・不具合修正(状況調査は無料)
ゴールドパートナー。