みなさま色々とアドバイスありがとうございます！！
Symfony のデバッグモードで確認してみてバグは修正できました。
期待しているSQLじゃない事も分かりました。

商品に登録しているカテゴリが１つだけの場合は、このカテゴリを商品一覧から除外する事はできたのですが、実現したかったのは、除外したいカテゴリが、子カテゴリを持つ場合でもちゃんと除外されるように、という事でした。

除外したいカテゴリに子カテゴリがあるのですが、その両方に登録すると、商品一覧に出てきてしまいます。

複数のカテゴリが登録されていた場合でも、その中の１つに特定のカテゴリが登録されていたら出ないようにしたいです。