Leia esta série de postagens do Wepay, onde eles detalham como sincronizam seus bancos de dados MySQL com o BigQuery, usando o Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (o terceiro é sobre o BigQuery)
Resumindo (citando):
- Configurar autenticação, conexões, DAG.
- Defina quais colunas extrair do MySQL e carregar no BigQuery.
- Escolha como carregar os dados:incrementalmente ou totalmente.
- Desduplicação.
