バージョン選択

フォーラム

メニュー

オンライン状況

110 人のユーザが現在オンラインです。 (104 人のユーザが フォーラム を参照しています。)
登録ユーザ: 0
ゲスト: 110
もっと...

サイト内検索

プラグイン > バグ報告・利用に関する質問 > データ移行プラグイン(4.2系)でデータが完全に移行されない

バグ報告・利用に関する質問

新規スレッドを追加する

スレッド表示 | 新しいものから 前のトピック | 次のトピック | 下へ
投稿者 スレッド
nakamori
投稿日時: 2024/2/13 10:19
対応状況: −−−
常連
登録日: 2018/4/25
居住地:
投稿: 36
データ移行プラグイン(4.2系)でデータが完全に移行されない
[EC-CUBE] EC-CUBE3.0.18 → EC-CUBE4.2.2
[OS] Windows11
[PHP] PHP8.1
[データベース] MySQL 10.4.24-MariaDB
[WEBサーバ] Apache/2.4
[ブラウザ] Chrome、FireFox最新版
[導入プラグインの有無] 有
[カスタマイズの有無] 有
[現象]

先日EC-CUBE3から4へのデータ移行でカートに商品が入らなくなったと質問した者です。
こちらは配送方法のステータスを確認することで解決いたしました。ありがとうございました。

また別の問題が発生したので質問させてください。
データ移行プラグインで、一見データ移行完了したように見えるのですが、移行されたデータを確認すると、件数が合ってなく、2~4件の抜けが発生します。
抜けるデータに法則性はなく、特にイレギュラーな値の入っているデータにも見えません。
何度かEC-CUBEのクリーンインストールからやり直しましたが、毎回異なるデータが抜け落ちます。


WindowsのXAMPP特有の現象かも知れないと思い、リプレイス先の本サーバ(AlmaLinux)でも試しましたが、現象変わらずでした。

このような現象に合われた方はいらっしゃいますか?

抜け落ちたデータを後から個別に入れる方法も考えましたが、その場合外部キーとの紐付けが保たれるのか疑問です。

ご教授いただけると幸いです。
tattsu
投稿日時: 2024/2/13 12:02
対応状況: −−−
長老
登録日: 2023/12/23
居住地:
投稿: 253
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
どのデータに抜けが発生しますか?

それにも法則性がなく、ある時は商品データが抜けていたり、ある時は支払方法が抜けていたりするということでしょうか?


----------------
-------------------
EC-CUBEカスタマイズ・バージョンアップ・不具合修正 
気軽にご相談ください。ゴールドランクパートナー。

nakamori
投稿日時: 2024/2/13 15:31
対応状況: −−−
常連
登録日: 2018/4/25
居住地:
投稿: 36
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
現時点で確認できているのかdtb_customerです。
毎回異なる顧客データが抜け落ちます。
mcontact
投稿日時: 2024/2/13 17:56
対応状況: −−−
登録日: 2022/1/22
居住地:
投稿: 1350
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
> 現時点で確認できているのかdtb_customerです。
> 毎回異なる顧客データが抜け落ちます。

dtb_customerテーブルのテーブル構造をカスタマイズしていたりしますか?
PHPのメモリ割り当てが不足していたりしませんか?
データ移行の際のログは確認できますか?


----------------
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
EC-CUBEインテグレートパートナー【ゴールド】ランク
M&I Works
URL: https://miworks.biz/
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

tattsu
投稿日時: 2024/2/13 21:01
対応状況: −−−
長老
登録日: 2023/12/23
居住地:
投稿: 253
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
引用:
現時点で確認できているのかdtb_customerです。
毎回異なる顧客データが抜け落ちます。


これはCSVデータを変えずに同じデータを取り込んで発生するということですか?


----------------
-------------------
EC-CUBEカスタマイズ・バージョンアップ・不具合修正 
気軽にご相談ください。ゴールドランクパートナー。

nakamori
投稿日時: 2024/2/13 21:35
対応状況: −−−
常連
登録日: 2018/4/25
居住地:
投稿: 36
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
> dtb_customerテーブルのテーブル構造をカスタマイズしていたりしますか?

テーブル構造はカスタマイズしていませんが、プラグインで下記カラムが追加されています。

32 customer_rank_id
33 plg_mailmagazine_flg
34 check_date

> PHPのメモリ割り当てが不足していたりしませんか?

データ移行の完了画面は表示されるので、メモリ不足は起こしてないと思いますが、10240M割り当てています。

なお、dtb_customerには77958件のデータが入っているのですが、何度か試行したところ、8回目で全件入ったのが確認できました。

1回目 77957件
2回目 77957件
3回目 77957件
4回目 77957件
5回目 77955件
6回目 77955件
7回目 77955件
8回目 77958件

データ移行には毎回10分程度かかっており、後日改めて本番から最新のバックアップを取って移行するため、できれば一度で済ませたいところです。

> データ移行の際のログは確認できますか?

EC-CUBEのログには、以下のようなWARNINGが出力されていました。
一部マスクしてますがご了承ください。

ConfigController.php:1597
[2024-02-12T17:32:18.386817+09:00] php.WARNING [46a030d4] [00d92de] [1] [Symfony\Component\ErrorHandler\ErrorHandler:handleError:538] - Warning: Undefined array key 3 {"exception":"[object] (ErrorException(code: 0): Warning: Undefined array key 3 at C:\\xampp\\htdocs\\path_to_eccube\\app\\Plugin\\DataMigration42\\Controller\\Admin\\ConfigController.php:1597)"} [POST, /admin_path/data_migration42/config, ::1, http://FQDN/path_to_admin/data_migration42/config, Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36]

よろしくお願いいたします。
nakamori
投稿日時: 2024/2/13 22:41
対応状況: −−−
常連
登録日: 2018/4/25
居住地:
投稿: 36
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
> これはCSVデータを変えずに同じデータを取り込んで発生するということですか?

はい。毎回同じデータをアップロードしています。
tattsu
投稿日時: 2024/2/15 8:41
対応状況: −−−
長老
登録日: 2023/12/23
居住地:
投稿: 253
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
デバッグしてみないことには分からないですね・・。
移行実行時のエラーなのか(MariaDBでエラー出ていないか)
移行後に何らかの理由で消えているのか
移行データに問題があるのか
そのあたりの切り分けからになるのではないかと思います。


----------------
-------------------
EC-CUBEカスタマイズ・バージョンアップ・不具合修正 
気軽にご相談ください。ゴールドランクパートナー。

nakamori
投稿日時: 2024/2/15 9:59
対応状況: −−−
常連
登録日: 2018/4/25
居住地:
投稿: 36
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
ありがとうございます。

移行データに問題があれば毎回失敗すると思うのですが、何度か試行すると全部入ることもあるのが不思議です(毎回同じデータを使用しています)。

クエリーログを確認してみましたが、20件ずつREPLACE文で投入しているようで、その中に抜け落ちた顧客IDのデータも入っていました。

REPLACE INTO dtb_customer
(id, customer_status_id, sex_id, job_id, country_id, pref_id, name01, name02, kana01, kana02, company_name, postal_code, addr01, addr02, email, phone_number, birth, password, salt, secret_key, first_buy_date, last_buy_date, buy_times, buy_total, note, reset_key, reset_expire, point, create_date, update_date, discriminator_type, customer_rank_id, plg_mailmagazine_flg, check_date)
VALUES ( 20件分の顧客データ )

REPLACEに失敗することってあるのでしょうか。
または、この時点でデータは投入されていて、その後の処理で抜け落ちる可能性もあるのでしょうか。

他に調べる方法があればご教授いただければと思います。


tattsu
投稿日時: 2024/2/15 12:20
対応状況: −−−
長老
登録日: 2023/12/23
居住地:
投稿: 253
Re: データ移行プラグイン(4.2系)でデータが完全に移行されない
クエリーログにDELETEされていそうな箇所はなかったということでしょうか?
投入失敗や外部キー関連のエラーログが出ていないでしょうか?

REPLACEはユニークキーが重複した場合でもDELETE & INSERTですのであやしい気はします。

上で移行データに問題がある可能性と書いたのは、移行元ではユニークキーがなかったが移行先でユニークキーがあってREPACEされていることを想定したのですが、毎回結果が違うことは説明が難しそうです。

また、実行が終わった際は全量登録されていて、画面にアクセスすると消えるなどということもサイトの状況によっては考えられなくはないです。

REPLACEを実行するたびに、その時点で想定される数のレコードが入っているかSELECTして確認してみるのはどうでしょうか。


----------------
-------------------
EC-CUBEカスタマイズ・バージョンアップ・不具合修正 
気軽にご相談ください。ゴールドランクパートナー。

(1) 2 »
スレッド表示 | 新しいものから 前のトピック | 次のトピック | トップ


 



ログイン


EC-CUBE公式 Amazon Payプラグイン

統計情報

総メンバー数は90,090名です
総投稿数は110,310件です

投稿数ランキング

1
seasoft
7369
2
468
3217
3
AMUAMU
2712
4
nanasess
2314
5
umebius
2085
6
yuh
1819
7
h_tanaka
1681
8
red
1571
9
mcontact
1350
10
tsuji
958
11
fukap
907
12
shutta
835
13
tao_s
799
14 ramrun 789
15 karin 689
16 sumida 641
17
homan
633
18 DELIGHT 572
19
patapata
502
20
flealog
485


ネットショップの壺

EC-CUBEインテグレートパートナー

Copyright© EC-CUBE CO.,LTD. All Rights Reserved.