Você pode selecionar todos os itens de
Items e LEFT JOIN MyTbl no ItemID comum , contando as partidas; select
Items.itemId,
count(MyTbl.itemId) as count
from Items
left join MyTbl on (MyTbl.ItemID = Items.ItemID)
group by Items.itemId
order by Items.itemId
