LLMLingua

LLMLingua mejora la eficiencia de los LLMs al comprimir las entradas del usuario usando un modelo de lenguaje pequeño para eliminar los tokens no esenciales con una pérdida mínima de rendimiento. Este enfoque permite a los LLMs mantener el raciocinio y aprendizaje dentro del contexto mientras procesan eficientemente entradas más largas, afrontando retos como eficiencia de costos, latencia de inferencia y gestión de contexto. LLMLingua es perfecto para optimizar el rendimiento de inferencia de los LLM, ya que es compatible con distintos LLMs, no necesita entrenamiento adicional y soporta frameworks como LLamaIndex.