você está selecionando todas as colunas na consulta interna e tentando fazer %10 , dá erro porque você não pode %10 para várias colunas. Alterne para selecionar uma coluna.
(SELECT * FROM participants ORDER BY serial DESC LIMIT 0, 1) % 10
seleciona várias colunas e tenta modificar por 10