Eu acho que você só precisa incluir um número de linha com cada valor selecionado e limitar os resultados pelo número de linhas algo assim:(não testado)
SELECT T0.experiment_id as `id`,
(SELECT SUM(x.value) from
(SELECT value,@rownum := @rownum + 1 AS rownum
FROM data
JOIN (SELECT @rownum := 0) r
WHERE experiment_id = t0.experiment_id
ORDER BY value
) AS x
WHERE x,rownum < t0.clip_index
) AS `sum`
FROM data_clip AS t0
consulte:MySQL - Obter número da linha na seleção