La comparación de DataFrames es una tarea común en la ingeniería de datos, frecuentemente realizada para comparar la salida de dos enfoques de transformación de datos para asegurarse que no hayan ocurrido desviaciones o inconsistencias significativas. DataComPy es una librería de Python que facilita la comparación de dos DataFrames en pandas, Spark y más. La librería va más allá de realizar comparaciones básicas de igualdad al ofrecer información detallada sobre discrepancias a nivel de filas y columnas. DataComPy tiene también la capacidad para especificar tolerancias absolutas o relativas en comparaciones de columnas numéricas, así como diferencias ya conocidas que no hace falta resaltar en su reporte. Algunos de nuestros equipos la utilizan como parte de su suite de smoke testing; la encuentran eficiente al comparar DataFrames extensos y consideran que sus reportes son fáciles de entender y sobre los que actuar.
