GitHub Copilot é uma ferramenta valiosa para assistência de programação durante o desenvolvimento de software. Por baixo dos panos, os modelos de linguagem de grande porte (LLMs) podem oferecer ótimas experiências de desenvolvimento por meio de assistência de código em linha, ajuste fino de código, suporte conversacional na IDE e muito mais. A maioria desses modelos é proprietária e só pode ser usada por meio de serviços de assinatura. No entanto, existem vários modelos de linguagem de grande porte (LLMs) de código aberto para programação que podem ser usados. Se você precisar construir seu próprio serviço de assistência de programação (como para uma indústria altamente regulada), considere modelos como StarCoder e WizardCoder. StarCoder é treinado com um grande conjunto de dados mantido pelo BigCode. WizardCoder é um modelo StarCoder aprimorado com Evol-Instruct, um modelo de linguagem que pode gerar código de forma criativa. Usamos StarCoder em nossos experimentos e o consideramos útil para gerar elementos estruturados de engenharia de software, como código, YAML, SQL e JSON. Com base em nossos experimentos, descobrimos que ambos os modelos são receptivos à aprendizagem contextual usando exemplos de few-shot no prompt. No entanto, para tarefas subsequentes específicas (como geração de SQL para um banco de dados específico como Postgres), os modelos precisaram de ajuste fino. Recentemente, a Meta lançou o Code Llama, uma versão especializada para código do Llama 2. Recomendamos que você utilize com cautela esses modelos de código aberto. Considere suas licença, as licenças dos códigos e dos conjuntos de dados usados para treinar os modelos. Avalie cuidadosamente esses aspectos antes de escolher qualquer um desses LLMs para sua organização.
