色々と方法がありそうですが…

　手順1：版代の設定方法 → 全ての支払方法に手数料を設定する
　手順2：カートの中身の合計額を計算する時に「会員情報or注文者名」と「注文内容」を照合する
　手順3：2回目以降の注文であると判断できれば、手数料を0にする

カートの中身の合計額計算は data/class/SC_CartSession.phpの584行目で行なわれています。

1回の注文で複数の商品が注文される事を考えると、照合時に
2回目以降の注文であると判断するためのルールを定める必要があります。

また、支払方法に手数料を設定していない事が前提の方法です。

DBの定義に変更を加えず、PHP側での改修のみで実現する事ができますので、このような方法でいかがでしょうか。