O que normalmente volta como - byte? Se sim, basta fazer um unbox e depois um convert:
(int)(byte) reader["column"];
ou apenas deixe a conversão acontecer naturalmente:
int x = (byte) reader["column"];
ou faça o mesmo com os métodos fortemente tipados:
int x = reader.GetByte(column);
Ajuste para
sbyte ou short ou o que quer que eu esteja errado sobre mapear para byte . Você poderia fazer a conversão no lado do SQL Server, mas eu pessoalmente faria isso no lado do cliente e manteria o SQL mais simples. 
