Uso responsável de resumos de solicitações de pull do GitHub Copilot

Sobre o Copilot resumos da solicitação de pull

          Copilot resumos da solicitação de pull é um recurso alimentado por IA que permite que você crie um resumo das alterações feitas em uma solicitação de pull, quais arquivos eles afetam e no que um revisor deve se concentrar ao realizar sua revisão.

Quando um usuário solicita um resumo, Copilot examina a solicitação de pull e fornece uma visão geral das alterações feitas em texto, bem como uma lista de alterações em forma de marcadores, indicando os arquivos que são afetados por essas alterações.

Você pode gerar um resumo nos seguintes locais:

• Na descrição de uma nova solicitação de pull que você está criando
• Na descrição de uma solicitação de pull existente, editando o comentário de abertura
• Em um comentário na linha do tempo principal de uma solicitação de pull

O único idioma com suporte para Copilot resumos da solicitação de pull é o inglês.

          Copilot resumos da solicitação de pull usa um fluxo de prompt simples aproveitando a Copilot API, sem modelos treinados adicionais. Isso utiliza o modelo genérico de linguagem grande.

Geração de resposta

O processo atual usa um modelo de linguagem grande para iniciar o processo de preenchimento automático e gerar o resumo da pull request.

Abordagem de pipeline

Quando um usuário solicita um resumo, um fluxo de trabalho é acionado. O fluxo de trabalho usa as diferenças de código para criar uma chamada de prompt, que solicita Copilot para gerar um resumo da solicitação de pull. A solicitação de resumo inicia um processo de pipeline que inclui diferenças brutas de arquivos resumidos em um prompt e solicita Copilot para gerar um resumo geral para a solicitação de pull.

Formatação de saída

Você pode iniciar esse recurso ao criar uma solicitação de pull, editando a descrição da solicitação de pull após a criação ou em um comentário na conversa da solicitação de pull. Após a iniciação, Copilot gerará um resumo de duas partes:

• Um parágrafo, escrito em prosa, dando uma visão geral das alterações na pull request.
• Uma lista com marcadores das alterações-chave vinculadas às respectivas linhas de código onde essas alterações ocorrem.

Solicitações de pull maiores podem levar alguns minutos para que Copilot as gere. Dependendo das configurações da sua empresa, você poderá compartilhar seu feedback sobre um resumo diretamente na interface do usuário depois que um resumo for gerado para nos ajudar a continuar a melhorar o recurso.

Caso de uso para resumos de solicitações de pull

O objetivo Copilot resumos da solicitação de pull é ajudar a otimizar a capacidade de um autor de fornecer contexto rapidamente quando eles solicitam uma revisão humana que exija o contexto de compartilhamento das alterações que foram feitas. Isso pode ajudar a aumentar a produtividade do desenvolvedor, reduzindo o tempo necessário para abrir uma solicitação de pull.

Para muitos usuários, ele pode fornecer um contexto mais útil para as alterações feitas em uma solicitação de pull do que normalmente estaria disponível.

Melhorando o desempenho dos resumos de pull requests

Usar Copilot resumos da solicitação de pull como uma ferramenta, não como uma substituição

O recurso destina-se a complementar, em vez de substituir, o trabalho de um humano ao adicionar contexto. Incentivamos você a continuar adicionando um contexto útil e deixar que Copilot faça o trabalho meticuloso de analisar o código e vincular a arquivos específicos. Continua sendo sua responsabilidade revisar e avaliar a precisão das informações em uma solicitação de pull que você cria.

Enviar feedback

Se você encontrar problemas ou limitações com Copilot resumos da solicitação de pull, poderá fornecer feedback clicando no botão "Resumo ruim" (um ícone de polegar para baixo), que é exibido abaixo da caixa de texto depois que um resumo é gerado e antes de clicar em Criar solicitação de pull ou Atualizar comentário.

Depois de classificar um resumo como bom ou ruim, você pode fornecer comentários por escrito clicando no link exibido.

Limitações dos resumos de solicitações de pull

No momento, nossa equipe está ciente de que existem limitações para esse recurso. Muitos deles são esperados ao aproveitar nossa Copilot API; no entanto, há alguns que são específicos ao Copilot resumos da solicitação de pull, que dizem respeito a escopo limitado, tempos de processamento mais longos e respostas imprecisas. Também observamos que os usuários devem esperar que os termos usados em suas PRs apareçam no resumo gerado pela IA. Esse recurso foi sujeito ao RAI Red Teaming e continuaremos a monitorar a eficácia e a segurança do recurso ao longo do tempo. Para obter mais informações, consulte Microsoft AI Red Team criando o futuro da IA mais segura no blog de segurança do Microsoft.

Limites de linhas alterados

Arquivos com mais de 400 adições e exclusões combinadas são excluídos do resumo.

Escopo limitado

Devido à capacidade, sabemos que solicitações de pull maiores que fazem referência a 30 ou mais arquivos exigirão mais tempo para serem processadas completamente. Não temos um limite exato atualmente, mas observamos os primeiros 30 arquivos sendo contabilizados e, em seguida, quaisquer arquivos adicionais sendo omitidos do resumo. Estamos trabalhando para resolver essa limitação de escopo atual.

Tempo de processamento

Em geral, esperamos que um resumo seja retornado em 40 segundos ou menos depois que um usuário inicia a ação. No entanto, ouvimos dizer que isso pode levar até um minuto e, em alguns casos, alguns minutos. Estamos trabalhando para diminuir o tempo de processamento e sabemos que os usuários podem não querer esperar que isso termine antes de passar para outras partes da solicitação de pull.

Respostas imprecisas

Quanto mais entradas e contexto puder Copilot aprender, melhores serão os resultados. No entanto, como o recurso é bastante novo, levará tempo para atingir a precisão exata com os resumos que são gerados. Enquanto isso, pode haver casos em que o resumo gerado é menos preciso e exige que o usuário faça modificações antes de salvar e publicar sua solicitação de pull com essa descrição. Além disso, há o risco de "alucinação", onde Copilot gera declarações imprecisas. Por esses motivos, a revisão é um requisito, e a revisão cuidadosa do resultado é altamente recomendada por nossa equipe.

Regenerando resumos

Os resumos de pull requests só são criados quando os usuários os solicitam manualmente. Quando os usuários enviam atualizações ou alterações em sua pull request, o resumo não é atualizado automaticamente. Os usuários podem solicitar Copilot a geração de um novo resumo, se necessário. A revisão manual do resumo atualizado Copilot é altamente recomendada. O resumo atualizado traz os mesmos riscos de imprecisão que o resumo original.

Replicação do conteúdo do pull request

Como o resumo é um esboço das alterações feitas em uma solicitação de pull, se termos prejudiciais ou ofensivos estiverem dentro do conteúdo da solicitação de pull, é possível que o resumo também inclua esses termos.

Leitura adicional

•         [
          GitHub Copilot Central de Confiabilidade](https://copilot.github.trust.page/)