Remarque
L’utilisation de l’ordinateur est en préversion publique et peut changer.
À propos de l’utilisation de l’ordinateur
Copilot peut interagir avec les applications de bureau en votre nom en lisant le contenu de l’application accessible et le contexte visuel, en cliquant sur des contrôles, en entrant et en modifiant du texte, en appuyant sur les touches, en faisant défiler, en faisant glisser et en accédant aux flux de travail entre les applications.
L’utilisation de l’ordinateur est disponible dans GitHub Copilot CLI et GitHub Copilot app sur macOS et Windows.
L’utilisation de l’ordinateur développe les tâches Copilot peut vous aider à automatiser, y compris les flux de travail dans les logiciels hérités et gui uniquement qui ne fournissent pas d’API, d’interface de ligne de commande ou d’intégration MCP.
L’utilisation de l’ordinateur peut vous aider à effectuer des tâches telles que :
- Examen et synthèse des informations dans une application de bureau héritée.
- Mise à jour du contenu dans une présentation.
- Saisie ou mise à jour d’informations dans un logiciel uniquement accessible via une interface graphique.
- Déplacement d’informations entre les applications dans le cadre d’un flux de travail en plusieurs étapes.
Conseil
L’utilisation d’un ordinateur est destinée aux tâches nécessitant une interaction avec une interface visuelle. Si une API, un serveur MCP, une commande de terminal, un outil de système de fichiers ou un outil de navigateur dédié peut effectuer la tâche directement, cet outil fournit généralement des informations plus structurées et des résultats prévisibles.
Capabilities
Lorsque cette option est activée, l’utilisation de l’ordinateur permet Copilot de :
- Lisez le contenu de l’application accessible et le contexte visuel via l’arborescence d’accessibilité ou les captures d’écran de votre système d’exploitation lorsque le contexte visuel est nécessaire.
- Cliquez sur les contrôles.
- Entrez et modifiez du texte.
- Appuyez sur les touches, faites défiler et faites glisser des éléments.
- Parcourez les flux de travail entre les applications.
L’agent sélectionne ces outils au fur et à mesure qu’il traite votre prompt. Vous pouvez consulter l’activité de l’outil dans la session.
Contrôle de l’accès pour l’utilisation de l’ordinateur
L’utilisation de l’ordinateur est désactivée par défaut. Vous devez l’activer avant qu’un agent puisse utiliser ses outils.
L’utilisation de l’ordinateur suit les paramètres d’autorisation de l’outil pour l’aire Copilot d’exécution de votre session. Ces paramètres déterminent si Copilot vous devez demander l’approbation avant de contrôler une application de bureau. Vous pouvez modifier les paramètres d’autorisation de l’outil pour chaque surface. Si vous êtes invité à approuver l’accès à une application, vous pouvez accorder l’accès à la session active, enregistrer l’approbation des sessions futures ou refuser l’accès.
Si vous choisissez Toujours autoriser pour une application spécifique, Copilot enregistre cette décision localement. La décision s’applique à la fois à GitHub Copilot CLI et à GitHub Copilot app sur le même ordinateur. Dans l’application, vous pouvez consulter la liste des applications toujours autorisées et supprimer des approbations individuelles. Supprimer une application supprime l’autorisation enregistrée pour les sessions futures, dans l’application comme dans l’interface en ligne de commande. Il ne retire pas l’accès déjà accordé au cours d’une session active.
Les règles d’autorisation qui refusent qu’un outil soit prioritaire sur les approbations automatiques ou enregistrées.
Les administrateurs d’entreprise peuvent désactiver l’utilisation de l’ordinateur par le biais de paramètres managés. L’activation de l’utilisation locale de l’ordinateur n’annule pas une politique d’entreprise. Pour plus d’informations sur la configuration, consultez Paramètres gérés par l’entreprise.
Vous pouvez interrompre une opération active si l’utilisation de l’ordinateur commence de manière inattendue. Dans GitHub Copilot CLI, appuyez deux fois sur Échap . Dans GitHub Copilot app, cliquez sur Arrêter ou appuyez sur Échap.
Sur macOS, Utilisation de l’ordinateur vous guide pour accorder les autorisations suivantes :
- Autorisation d’accessibilité pour interagir avec les contrôles d’application.
- Autorisation d’enregistrement d’écran pour inspecter les fenêtres d’application lorsque le contexte visuel est nécessaire.
Limitations et risques
L’utilisation de l’ordinateur interprète des interfaces qui peuvent changer selon les versions des applications, les systèmes d’exploitation et l’état des fenêtres. Il peut sélectionner le mauvais contrôle, saisir du texte au mauvais endroit ou rencontrer des difficultés avec des contrôles non standard ou dynamiques et des flux de travail complexes. Les modifications apportées à l’état de minutage ou de fenêtre peuvent produire des résultats différents, entraîner la répétition d’une action par ordinateur ou l’empêcher de continuer.
Avertissement
L’utilisation de l’ordinateur peut automatiser les interactions entre les applications de bureau, mais elle introduit également des risques de sécurité. Des instructions ambiguës ou un contenu inattendu à l’écran peuvent entraîner des actions involontaires susceptibles d’affecter votre appareil, vos données ou vos comptes connectés, y compris l’accès à des systèmes personnels, financiers ou d’entreprise. L’utilisation de l’ordinateur n’est pas un substitut au jugement humain. Passez en revue l’application cible, les autorisations demandées et le résultat, en particulier avant d’autoriser les actions qui modifient des données ou affectent d’autres personnes.
Les fenêtres d’application peuvent afficher des informations sensibles, y compris des informations sur d’autres personnes. Utilisez uniquement l’utilisation de l’ordinateur avec des applications et des tâches dont le contenu visible est à l’aise en tant que contexte.Copilot
Si vous choisissez Toujours autoriser une application, les actions d’utilisation de l’ordinateur ultérieures peuvent la contrôler sans demander à nouveau. Évitez de choisir Always allow pour les applications qui contiennent des informations sensibles ou prennent en charge des actions à impact élevé.
Pour obtenir des informations complètes sur l’utilisation responsable, consultez Carte d’application : agents GitHub Copilot.
Étapes suivantes
Pour activer et utiliser l’utilisation de l’ordinateur, consultez :