Em se tratando de engenharia de dados, estamos vendo uma variedade desconcertante de ferramentas e tecnologias. Especialmente para engenheiras menos experientes, pode fazer sentido trabalhar com uma camada de abstração para acessar as ferramentas, focar na tarefa em mãos sem precisar aprender várias APIs específicas de determinadas tecnologias e ter a opção de alternar tecnologias subjacentes sem muito esforço. Fugue é essa camada de abstração. Fornecendo uma interface unificada para computação distribuída que possibilita a execução de código Python, pandas e SQL em Spark, Dask, Ray e DuckDB com o mínimo de necessidade de reescrita. No entanto, se sua equipe já se decidiu sobre um conjunto de tecnologias, está familiarizada com as APIs e se aprofundou nos ajustes de seus sistemas de back-end, dada a nossa experiência, essa camada de abstração fornece menos valor.
