Você provavelmente está tentando converter para um timestamp semelhante ao UNIX, que está em UTC:
yourDateTime.ToUniversalTime().Subtract(
new DateTime(1970, 1, 1, 0, 0, 0, DateTimeKind.Utc)
).TotalMilliseconds
Isso também evita problemas de verão, já que o UTC não os possui.
