Para organizações que usam Azure como provedor de nuvem principal, Azure Data Factory (ADF) é atualmente o padrão para orquestrar pipelines de processamento de dados. O serviço oferece suporte à ingestão de dados, copiando dados de/para diferentes tipos de armazenamento locais, ou no Azure, e executando a lógica de transformação. Embora nossa experiência com o ADF tenha sido adequada para migrações simples de armazenamentos de dados local para a nuvem, desencorajamos o uso do Azure Data Factory para orquestração de fluxos de trabalho e pipelines de processamento de dados complexos. Tivemos algum sucesso usando ADF principalmente para mover dados entre sistemas. Para pipelines de dados mais complexos, ainda há desafios, incluindo depuração e relatórios de erros pobres; observabilidade limitada, já que os recursos de log do ADF não se integram a outros produtos, como Azure Data Lake Storage ou Databricks, dificultando a implementação de uma observabilidade de ponta a ponta; e disponibilidade de mecanismos de acionamento de fontes de dados apenas para determinadas regiões. No momento, incentivamos o uso de outras ferramentas de orquestração de código aberto (por exemplo, Airflow) para pipelines de dados complexos, limitando ADF para cópia de dados ou snapshots. Nossos times continuam usando o Data Factory para mover e extrair dados, mas para operações maiores, recomendamos outras ferramentas de fluxo de trabalho mais completas.
Azure Data Factory (ADF) é atualmente o produto padrão da Azure para orquestrar pipelines de processamento de dados. Ele suporta ingestão de dados, copiar dados de e para diferentes tipos de armazenamento localmente ou no Azure e executar lógica de transformação. Embora tenhamos tido uma experiência razoável com ADF para migrações simples de armazéns de dados de local para nuvem, desencorajamos o uso de Azure Data Factory para orquestração para pipelines complexas de processamento de dados. Nossa experiência tem sido desafiadora por vários fatores, incluindo cobertura limitada de capacidades que podem ser implementadas por meio de código primeiro, pois parece que ADF está priorizando a possibilidade das capacidades de plataforma de baixo código; capacidade ruim de debug e relatar erros; observação limitada, já que as capacidades de login da ADF não se integram com outros produtos, como Azure Data Lake Storage ou Databricks, tornando difícil obter uma observação de ponta-a-ponta; e disponibilidade de mecanismos de acionamento da fonte de dados apenas para certas regiões. Nesse momento, encorajamos usar outras ferramentas de orquestração de código aberto (ex.: Airflow) para pipelines de dados complexos, e limitar ADF para cópias de dados ou snapshotting. Esperamos que a ADF aborde essas preocupações para suportar fluxos de trabalho mais complexos de processamento de dados e priorize o acesso a capacidade por meio de código primeiro.
