Os parênteses são importantes, portanto, tente isto:
SELECT japanese
FROM edict
WHERE japanese LIKE CONCAT('%',
(SELECT japanese FROM edict WHERE english LIKE 'dog' LIMIT 1),
'%');
No entanto, pode ter sido bom nos dizer qual erro você recebeu.