Para MySQL 8:
with recursive rcte(dt_id, col, value) as (
(
select dt_id, col, value
from mytable
order by dt_id
limit 1
)
union all
select r.dt_id + interval 1 day
, coalesce(t.col, r.col)
, coalesce(t.value, r.value)
from rcte r
left join mytable t on t.dt_id = r.dt_id + interval 1 day
where r.dt_id < (select max(dt_id) from mytable)
)
select r.col, r.dt_id, r.value
from rcte r
order by r.dt_id
db-fiddle
A consulta recursiva construirá linha por linha incrementando a data a partir da primeira data até a última. O
value (e col ) é retirado da tabela original, que é deixada unida na data. Se a tabela original não tiver uma linha para uma data, o valor da última linha da recursão será usado. Para versões mais antigas, você pode usar sua tabela de calendário e uma subconsulta na cláusula ON de associações à esquerda para obter os últimos valores existentes:
select b.col, c.date_id, b.value
from time_table c
left join balance b on b.dt_id = (
select max(dt_id)
from balance b1
where b1.dt_id <= c.date_id
)
where c.date_id >= (select min(dt_id) from balance)
and c.date_id <= (select max(dt_id) from balance)
db-fiddle
Atualizar
Já que a pergunta mudou:
select b.col, c.date_id, b.value
from (
select col, min(dt_id) as min_dt, max(dt_id) as max_dt
from balance
group by col
) i
join time_table c
on c.date_id >= i.min_dt
and c.date_id <= i.max_dt
left join balance b
on b.col = i.col
and b.dt_id = (
select max(dt_id)
from balance b1
where b1.dt_id <= c.date_id
and b1.col = i.col
)
order by b.col, c.date_id
db-fiddle
Certifique-se de ter um índice em
(col, dt_id) . Na melhor das hipóteses, seria a chave primária. date_id na time_table também deve ser indexado ou a chave primária. 
