Essa é a pior maneira de fazer isso. É contra a normalização. Ter 2 mesas separadas. Usuários e User_Followers. Os usuários armazenarão as informações do usuário. User_Followers será assim:
id | user_id | follower_id
1 | 20 | 45
2 | 20 | 53
3 | 32 | 20
User_Id e Follower_Id's serão chaves estrangeiras referentes à coluna Id na tabela Users.