自己解決しました。

PayPalの人に問い合わせたところ、
subtotalは小数点でも問題ないという回答をいただきました。

あとはEC-CUBE側の問題だと確信して
一番怪しい load_payment_module.php から始まる処理を追っていきました。

結論
data/downloads/module/mdl_paypal/
LC_Page_Mdl_Paypal_Helper_Link.php

$objFormParam->addParam("subtotal", "subtotal", STEXT_LEN, "n", array("NUM_CHECK", "EXIST_CHECK", "MAX_LENGTH_CHECK"), $arrOrder['payment_total']);

NUM_CHECK → NUM_POINT_CHECK

この変更で解決しました。

--------------------

元トピックの対応状況を「解決済」にしようとしても
なりませんがそういうものでしょうか。