Não é necessário consultar o objeto primeiro, você pode anexá-lo ao contexto pelo seu id.Assim:
var employer = new Employ { Id = 1 };
ctx.Employ.Attach(employer);
ctx.Employ.Remove(employer);
ctx.SaveChanges();
Como alternativa, você pode definir o estado da entrada anexada como delete :
var employer = new Employ { Id = 1 };
ctx.Entry(employer).State = EntityState.Deleted;
ctx.SaveChanges();
