システム上は可能です。(問題としては数十万点のサイズのCSVをアップするには、CSVの分割またはサーバーの制限緩和が必要かもしれません。)
CSVについては管理画面の商品管理→商品登録CSVに説明があります

・画像
複数画像の場合
画像ファイル名をカンマ区切りで
「"」で囲んで設定
（画像ファイル自体はFTPなどでアップします）

・規格のある商品
規格分類1(ID) 規格分類2(ID)

・カテゴリ
複数カテゴリの場合
商品カテゴリIDをカンマ区切りで
「"」で囲んで設定

----------------
EC-CUBEカスタマイズ・高速化・脆弱性対策・SEO ご相談ください。

2系・3系から4系へのバージョンアップ実績豊富