GitHub Copilot CLI를 사용하여 데스크톱 애플리케이션과 상호 작용하기

컴퓨터 사용에 대하여

Copilot 는 액세스 가능한 애플리케이션 콘텐츠 및 시각적 컨텍스트를 읽고, 컨트롤을 클릭하고, 텍스트를 입력 및 편집하고, 키를 누르고, 스크롤하고, 끌어서, 애플리케이션 간에 워크플로를 탐색하여 데스크톱 애플리케이션과 상호 작용할 수 있습니다.

이 기능은 API, 명령줄 인터페이스 또는 MCP 통합을 제공하지 않는 레거시 및 GUI 전용 소프트웨어의 워크플로에 유용합니다. macOS 및 Windows의 로컬 세션에서 사용할 수 있습니다.

기능, 컨트롤 및 제한 사항에 대한 자세한 내용은 GitHub Copilot 컴퓨터 사용 정보을 참조하세요.

컴퓨터 사용 상태 확인

대화형 Copilot CLI 세션에서 다음을 입력합니다:

/computer show

/computer show

Copilot CLI 는 컴퓨터 사용 플러그 인, MCP 서버 및 관련 기술이 활성화되었는지 여부를 보고합니다.

컴퓨터 사용 활성화

인터랙티브 세션에서 다음을 입력하세요:

/computer on

/computer on

Copilot CLI 는 기본 설정을 저장하고 번들 컴퓨터 사용 플러그 인을 사용하도록 설정합니다. 조직에서 컴퓨터 사용이 비활성화된 경우 CLI는 관리되는 설정에 의해 차단되었다고 보고합니다. 로컬 기본 설정은 정책을 재정의할 수 없습니다.

macOS에서 컴퓨터 사용 기능이 접근성 및 화면 녹화 권한을 허용하도록 안내합니다.

컴퓨터 사용하기

컴퓨터 사용은 원하는 결과, 관련된 애플리케이션 및 중요한 제약 조건을 설명할 때 가장 잘 작동합니다.

다음은 그 예입니다.

Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

APP_NAME를 컴퓨터에 설치된 애플리케이션 이름으로 바꿉니다.

컴퓨터 사용은 활성 Copilot CLI 권한 모드를 따릅니다. 이 모드는 Copilot가 애플리케이션을 제어하기 전에 승인을 요청할지 여부를 결정합니다. 활성 모드를 검토하려면 /permissions show을 입력합니다. 승인이 필요한 경우 현재 컴퓨터 사용 세션에 대한 액세스 권한을 부여하려면 허용을 선택하고, 이후 세션에 대한 승인을 저장하려면 항상 허용을 선택하거나, 요청을 거절하거나 취소합니다.

애플리케이션에 항상 허용을 선택하면 동일한 컴퓨터에서 GitHub Copilot app에서 컴퓨터 사용 기능을 사용하는 경우에도 저장된 승인이 적용됩니다. 프롬프트가 나타나면 애플리케이션 및 작업이 요청과 일치하는지 확인합니다. 구성된 거부 규칙이 여전히 우선합니다.

활성 작업을 중단하려면 Esc 키를 두 번 누릅니다.

도구 사용 권한 구성에 대한 자세한 내용은 도구 사용 허용 및 거부을 참조하세요.

컴퓨터 사용 비활성화

대화형 세션에서 다음을 입력합니다.

/computer off

/computer off

플러그 인 및 MCP 서버가 비활성화되어 있는지 확인하려면 다음을 사용합니다 /computer show.

컴퓨터 사용 문제 해결

• /computer show에서 컴퓨터 사용을 사용할 수 없다고 보고하는 경우, 해당 기능을 계정에서 사용할 수 있는지, 그리고 지원되는 운영 체제에서 로컬 세션을 사용하고 있는지 확인합니다.
• 컴퓨터 사용이 활성화되어 있지만 작동하지 않는 경우, computer-use을 사용해 번들된 /mcp list 플러그인이 활성화되어 있는지 확인하고 /plugin를 사용해 해당 MCP 서버가 연결되어 있는지 확인하세요.
• macOS에서 컴퓨터 사용 도우미에 접근성 및 화면 녹화 권한이 모두 있는지 확인합니다.