Caso alguém esteja se perguntando, você precisa redirecionar todas as rotas que o Node não está usando para o Angular:
app.get('*', function(req, res) {
res.sendfile('./path/to/index.html')
})
Isso deve ser feito em server.js. Não se esqueça de usar ./ no link do sendfile :)
