assets/category/のようなディレクトリを用意し、画像名をカテゴリーIDと一致する命名をおいておく

テンプレートに
{% if Category is not null %}
<img src="{{ asset('assets/category/') }}category_{{ Category.id }}.jpg" alt=""/>
{% endif %}

雑に書いたのでこのままでokかわかりませんが
カテゴリIDを利用してとファイルパスを指定するのが手っ取り早いかなと思います。