Você precisa de algo assim;
Dim TaskEnd As DateTime
Dim TaskStart As DateTime
Dim result As TimeSpan = TaskEnd - TaskStart
MsgBox(result.TotalHours)
O VB possui um TimeSpan, quando você precisar acompanhar uma duração, use-o!
Por favor, da próxima vez, tente não arrastar nenhum item não relacionado. Este problema não tem nada a ver com datagridview... Tem a ver com data e hora...