결론부터 말하면, 알리바바가 컴퓨터·스마트폰 화면을 직접 보고 마우스로 클릭하고 키보드를 치는 AI 에이전트 ‘Qwen-UI-Agent’를 오픈소스로 공개했습니다. API 연동 없이도 엑셀·웹사이트·레거시 프로그램처럼 “그냥 화면으로만 존재하는” 프로그램을 대신 조작해주는 에이전트를, 누구나 내려받아 자기 컴퓨터에서 돌려볼 수 있는 형태로 풀었다는 뜻입니다. 지난 8월 20일 알리바바 통이(Tongyi) Qwen 팀 산하 MAI 연구팀이 공개한 이 모델은 깃허브 저장소(Tongyi-MAI/MAI-UI)와 기술보고서를 통해 상세 스펙을 밝혔습니다.
다만 “오픈소스로 나왔다”는 사실 하나만으로 이 소식이 이 블로그 독자(자동화·부업에 관심 있는 개인)에게 당장 쓸모 있다는 뜻은 아닙니다. 이 글에서는 정확히 무엇이 공개됐는지, 경쟁 제품 대비 어디쯤 서 있는지, 그리고 지금 개인이 실제로 다운로드해서 써볼 수 있는 수준인지를 사실 기반으로 짚어보겠습니다.
정확히 무엇을 공개했나 — 날짜·주체·구성
Qwen-UI-Agent는 “실제 환경 중심의 차세대 파운데이션 GUI 에이전트”를 표방하는 모델로, 모바일(안드로이드)·데스크톱·웹 브라우저, 그리고 웹 정보를 찾아오는 딥서치(DeepSearch) 도구까지 하나의 에이전트 프레임워크 안에서 조합해 쓰도록 설계됐습니다. 사용자가 자연어로 지시를 내리면 상위 목표를 하위 작업으로 쪼개는 플래너가 먼저 움직이고, 그 아래에서 모바일 앱을 조작하는 실행기, 데스크톱에서 명령줄(CLI)을 직접 실행하는 실행기, 웹 검색을 담당하는 실행기 중 상황에 맞는 것을 골라 씁니다.
- 공개일: 2026년 8월 20일 (알리바바 통이 Qwen 산하 MAI 팀)
- 공개 모델: 가중치가 실제로 풀린 건 MAI-UI-2B·MAI-UI-8B 두 종류이며, 기술보고서에는 성능이 더 높은 32B 버전도 함께 언급됩니다.
- 라이선스: 깃허브 저장소 기준 Apache License 2.0 — 상업적 이용을 포함해 비교적 제약이 적은 라이선스입니다.
- 배포처: 모델 가중치는 허깅페이스(Hugging Face)에, 코드와 기술보고서는 깃허브·arXiv(2607.28227)에 각각 공개됐습니다.
흥미로운 점은 데스크톱 작업 방식입니다. Qwen-UI-Agent는 화면을 보고 클릭·드래그하는 그래픽 조작만 쓰지 않습니다. 필요하면 명령줄(CLI) 명령을 직접 실행하는 경로도 함께 씁니다. 알려진 바로는 데스크톱 작업의 약 40%가 이런 배치(batch) CLI 명령으로 처리됩니다. 마우스로 열 번 클릭해야 할 작업도 명령어 한 줄로 끝나는 경우가 많습니다. “화면을 보되 사람처럼 느리게 움직이지는 않는다”는 점이 Qwen-UI-Agent의 실용적인 특징입니다.
스펙과 성능: 벤치마크로 보는 실력
기술보고서와 외부 보도를 종합하면 주요 벤치마크 결과는 다음과 같습니다(모두 별도 표기가 없으면 최상위 성능 버전 기준).
- MobileWorld(모바일 에이전트 표준 평가): 82.1% — 같은 벤치마크에서 GPT-5.6 대비 12.0%p, 클로드 오퍼스(Opus) 4.8 대비 14.6%p 높은 수치로 보도됐습니다.
- MobileWorld-Real(실제 기기 테스트): 92.2% — 제미나이 3.1과 비교해도 앞서는 수치로 소개됐습니다.
- AndroidDaily(일상 안드로이드 작업): 97.5%
- OSWorld-Verified(데스크톱 GUI 작업): 79.5%
- WebArena(웹 브라우저 작업): 73.6%
- ScreenSpot-Pro(화면 요소 인식 정확도): 81.5%(깃허브 공식 리더보드 기준). 기술보고서에서는 확대(zoom) 기능을 끈 별도 조건(“No zoom”)에서 76.6%로 다르게 표기돼 있어, 어느 조건인지에 따라 인용되는 수치가 달라질 수 있습니다.
참고로 벤치마크 수치는 출처(공식 저장소 리더보드 vs 기술보고서 vs 외신 보도)와 평가 조건에 따라 소수점이나 비교 모델 버전이 조금씩 다르게 인용되고 있어, 이 글은 위 수치를 기술보고서·깃허브 공식 자료·복수 매체 교차 확인 기준으로 정리하고 조건 차이가 있는 항목은 함께 표기했습니다. 정확한 최신 수치는 공식 저장소에서 계속 갱신될 수 있습니다.
왜 이게 중요한가 — API 연동 없는 반복 업무 자동화의 의미
이 블로그 독자 상당수가 n8n·Zapier 같은 도구로 업무를 자동화해봤을 텐데, 그 자동화의 전제 조건은 대부분 “연동할 API가 있어야 한다”는 것입니다. 반대로 사내에서만 쓰는 오래된 윈도우 프로그램, API가 없는 웹사이트, 매크로가 막혀 있는 엑셀 서식처럼 “화면으로만 존재하는” 업무는 지금까지 자동화 사각지대였습니다. 사람이 직접 클릭해야만 끝나는 반복 작업이죠.
Qwen-UI-Agent 같은 화면 조작형(GUI-operating) 에이전트가 의미 있는 지점이 바로 여기입니다. API를 몰라도, 그 프로그램에 개발자용 연동 창구가 아예 없어도, 사람이 하던 것처럼 화면을 보고 클릭·입력하는 방식 자체를 흉내 내기 때문에 이론적으로는 어떤 GUI 프로그램에도 적용할 여지가 있습니다. 게다가 오픈소스·자체 호스팅이 가능하다는 점은 클라우드 API 사용료를 건 단위로 내지 않고, 회사 내부망처럼 외부로 화면을 내보낼 수 없는 환경에서도 시도해볼 수 있다는 뜻이기도 합니다.
다만 이건 어디까지나 “가능성”이지 “지금 당장 문제없이 된다”는 뜻은 아닙니다. 벤치마크가 통제된 평가 환경에서 나온 수치인 만큼, 실제 사내 레거시 시스템이나 국내 웹사이트(한글 UI, 특수한 팝업 구조 등)에서도 같은 정확도가 나올지는 검증된 바 없습니다.
경쟁 구도: 챗GPT 에이전트·클로드 Computer Use와 뭐가 다른가
화면을 보고 조작하는 에이전트 자체는 새로운 개념이 아닙니다. 오픈AI는 2025년 초 ‘오퍼레이터(Operator)’라는 이름으로 브라우저 조작 에이전트를 내놓았다가 이후 챗GPT 에이전트(ChatGPT Agent)로 통합했고, 앤트로픽은 클로드에 ‘컴퓨터 사용(Computer Use)’ 기능을 붙여 데스크톱 전체를 조작할 수 있게 했습니다. 구글도 제미나이 계열에 비슷한 에이전트 기능을 순차적으로 붙이고 있습니다.
이 구도에서 Qwen-UI-Agent가 서 있는 위치는 두 가지로 요약됩니다.
- 성능은 최상위권과 견줄 만한 수준: Qwen-UI-Agent는 데스크톱 작업 지표인 OSWorld-Verified에서 79.5%를 기록했는데, 이는 클로드 Computer Use가 같은 벤치마크에서 보고한 “80% 초반대” 성능과 큰 차이가 없는 수치입니다. 오픈소스 모델이 비공개 상용 모델과 근접한 수준까지 따라붙었다는 점이 이번 공개가 화제가 된 핵심 이유입니다.
- 가장 큰 차별점은 ‘오픈소스·자체 호스팅 가능 여부’: 챗GPT 에이전트나 클로드 Computer Use는 각 회사의 API·구독 서비스를 통해서만 쓸 수 있는 폐쇄형입니다. 반면 Qwen-UI-Agent는 모델 가중치 자체를 받아 자신의 GPU에서 돌릴 수 있습니다 — 이 블로그에서 다룬 메타 뮤즈 글리머(소비자용 GPU로 돌리는 로컬 AI 에이전트)와 같은 흐름으로, “화면 조작 에이전트”에서도 오픈소스 진영이 상용 서비스를 따라잡는 사례가 나온 셈입니다.
또한 API가 없는 앱까지 자동화한다는 콘셉트 자체는 이 블로그가 앞서 다룬 그록봇(Grok Bot)과도 방향이 비슷합니다. 다만 그록봇은 xAI가 운영하는 폐쇄형 베타 서비스인 반면, Qwen-UI-Agent는 모델 자체를 공개했다는 점에서 접근 방식이 다릅니다.
지금 개인이 실제로 써볼 수 있는 수준인가
가장 현실적인 질문에 솔직하게 답하자면, 지금 이 순간은 “일반 개인이 바로 켜서 쓰는 수준”보다는 “개발자·GPU 보유자가 시험해볼 수 있는 수준”에 가깝습니다. 근거는 세 가지입니다.
- 완성된 앱이 아니라 모델 가중치 형태: 지금 공개된 건 더블클릭하면 실행되는 프로그램이 아니라, 개발 환경을 갖추고 직접 구동해야 하는 원시 모델 가중치(2B·8B)입니다. 일반 사용자가 바로 설치할 수 있는 설치 프로그램이나 앱은 아직 없습니다.
- GPU 자원이 필요: 8B 모델을 원활히 돌리려면 최소 수준 이상의 GPU 메모리가 필요합니다. 그래픽카드가 없는 평범한 사무용 노트북에서 곧바로 돌리기는 현실적으로 어렵습니다.
- 상업용 API·완제품 서비스는 아직 미공지: 알리바바가 이 모델을 API 형태나 완성된 소비자용 앱으로 얼마에, 언제 내놓을지는 이 글을 쓰는 시점까지 공식 발표되지 않았습니다.
이 사이트도 아직 Qwen-UI-Agent를 직접 구동해 결과를 보여드리지는 못했습니다. 위에서 언급한 GPU 요구 사항 때문입니다. 다만 모델 가중치와 코드가 이미 공개돼 있어, 개발 지식이 있는 사람이라면 지금 바로 내려받아 실험해볼 수 있는 단계까지는 와 있습니다.
이 정도로 접근 장벽이 낮아진 화면 조작 에이전트가 오픈소스로 나온 사례 자체가 드뭅니다. 몇 달 안에 이를 감싸는 개인용 도구(설치형 앱, 노코드 인터페이스 등)가 커뮤니티에서 나올 가능성은 충분히 있습니다. 그런 도구가 실제로 나오면 이 블로그에서도 실전 활용법 후속 글로 다룰 만한 후보로 남겨둡니다.
지금 바로 해볼 수 있는 것 — GPU 유무별 행동 지침
- GPU가 있어서 직접 시도해볼 사람: 깃허브 저장소(Tongyi-MAI/MAI-UI)의 README에서 “Model Zoo” 또는 “Quick Start” 항목을 확인하면 허깅페이스로 연결되는 가중치 다운로드 링크를 찾을 수 있습니다. 처음이라면 자원 부담이 적은 MAI-UI-2B부터 받아 기본 동작을 확인하고, 정확도가 아쉬우면 MAI-UI-8B로 옮겨가는 순서를 권장합니다.
- GPU가 없어서 지금은 지켜볼 사람: 깃허브 저장소와 기술보고서 페이지에 올라온 데모 영상·스크린샷으로 실제 화면 조작 결과를 먼저 확인해볼 수 있습니다. 알리바바가 상용 API나 소비자용 서비스를 내놓을 때 가장 먼저 확인할 수 있는 곳은 Qwen 공식 허깅페이스 모델 카드와 깃허브 저장소의 Release 탭입니다 — 지금 북마크해두면 별도로 뉴스를 검색하지 않아도 공지를 바로 확인할 수 있습니다.
- 2B·8B·32B, 뭐가 다른가: 지금 공개된 두 버전 중 2B는 가볍게 실험해보기엔 적합하지만 정확도가 셋 중 가장 낮습니다. 8B는 이 글에서 인용한 상위권 벤치마크 대부분에 쓰인 균형점으로, 개인이 현실적으로 시도해볼 수 있는 최대 사이즈에 가깝습니다. 32B는 기술보고서에 등장하는 최고 성능 버전이지만, 이 글을 쓰는 시점에는 가중치가 아직 공개되지 않았습니다.
큐원3.8맥스와 헷갈리지 마세요
이 블로그는 지난 8월 5일 알리바바 ‘큐원3.8맥스’ 오픈소스 공개 소식을 다룬 적이 있습니다. 이번 Qwen-UI-Agent와 이름이 비슷해 헷갈리기 쉽지만, 둘은 완전히 다른 제품입니다.
- 큐원3.8맥스: 텍스트를 입력하면 텍스트로 답하는 거대언어모델(LLM)입니다. 파라미터 규모(2.4조)가 핵심 화제였고, 글쓰기·코딩·추론 같은 일반적인 챗봇 작업에 씁니다.
- Qwen-UI-Agent: 화면을 이미지로 “보고” 마우스·키보드 조작을 출력하는 화면 조작형(GUI) 에이전트입니다. 텍스트 대화가 아니라 실제 화면 위 클릭·입력 행동이 결과물입니다.
두 모델 모두 알리바바 통이 Qwen 계열이라는 공통점은 있지만, 하나는 “대화하는 AI”이고 다른 하나는 “화면을 조작하는 AI”라는 점에서 용도 자체가 다릅니다.
자주 묻는 질문
Qwen-UI-Agent는 무료로 쓸 수 있나요?
모델 가중치(MAI-UI-2B·8B)는 Apache License 2.0으로 허깅페이스에 무료 공개돼 있어, 라이선스상으로는 상업적 이용까지 포함해 자유롭게 내려받아 쓸 수 있습니다. 다만 “무료”인 건 모델뿐이고, 이를 실제로 돌리는 데 필요한 GPU 비용은 별도로 감안해야 합니다.
오픈AI 챗GPT 에이전트나 클로드 Computer Use와 뭐가 다른가요?
기능적으로는 셋 다 화면을 보고 조작하는 에이전트라는 점이 같습니다. 가장 큰 차이는 접근 방식입니다 — 챗GPT 에이전트와 클로드 Computer Use는 각 회사의 서비스·API로만 쓸 수 있는 폐쇄형이고, Qwen-UI-Agent는 모델 자체를 내려받아 자체 서버에서 돌릴 수 있는 오픈소스입니다. 성능은 데스크톱 벤치마크(OSWorld-Verified) 기준 서로 근접한 수준으로 보도됐습니다.
지금 당장 다운로드해서 제 컴퓨터에서 써볼 수 있나요?
모델 가중치와 코드는 지금 바로 내려받을 수 있지만, 개발 환경 구성과 상당한 GPU 자원이 필요해 일반 사용자가 바로 설치해 쓸 수 있는 완제품 형태는 아직 아닙니다. 지금은 개발자·GPU 보유자가 실험해볼 수 있는 단계로 보는 게 정확합니다.
큐원3.8맥스와 같은 모델인가요?
아닙니다. 큐원3.8맥스는 텍스트 대화용 거대언어모델이고, Qwen-UI-Agent는 화면을 보고 클릭·입력을 수행하는 별도의 GUI 조작 에이전트입니다. 둘 다 알리바바 통이 Qwen 계열이지만 서로 다른 시점에 공개된 다른 제품입니다.
전망: 다음에 지켜볼 것
알리바바는 이미 지난 8월 11일 큐원 플랫폼을 외부 개발자에게 개방하겠다고 밝힌 바 있어, Qwen-UI-Agent 역시 단발성 연구 공개로 끝나기보다 알리바바의 에이전트 생태계 확장 전략의 한 축으로 이어질 가능성이 있습니다. 앞으로 지켜볼 지점은 세 가지입니다.
- 상업용 API·완제품 공개 여부: 알리바바가 이 모델을 클라우드 서비스(Model Studio 등) 형태의 API로 내놓으면, GPU 없이도 개인이 써볼 수 있는 문턱이 크게 낮아집니다.
- 커뮤니티 파생 도구: 오픈소스 특성상 모델을 감싸는 설치형 앱이나 노코드 인터페이스가 개발자 커뮤니티에서 먼저 나올 수 있습니다. 그런 도구가 등장하면 실전 활용법을 다루는 후속 글의 좋은 소재가 됩니다.
- 실제 한국어 UI 환경에서의 정확도: 지금까지 공개된 벤치마크는 대부분 영어권 앱·웹사이트 기준입니다. 한글 UI, 국내 특유의 웹사이트 구조에서도 비슷한 정확도가 나올지는 별도로 검증돼야 할 부분입니다.
핵심 요약
- 알리바바가 8월 20일 화면을 보고 클릭·키보드 입력을 직접 수행하는 GUI 에이전트 ‘Qwen-UI-Agent’를 오픈소스(Apache 2.0)로 공개, 모델 가중치(2B·8B)를 허깅페이스에 배포했습니다.
- 데스크톱 벤치마크(OSWorld-Verified 79.5%)에서 클로드 Computer Use의 80% 초반대 성능에 근접한 수치를 기록해, 오픈소스 모델이 상용 서비스와 견줄 수준까지 따라붙었다는 평가를 받습니다.
- 다만 지금은 GPU와 개발 환경이 필요한 ‘모델 가중치’ 단계라 일반 개인이 바로 설치해 쓸 수는 없으며, 상업용 API·완제품 소비자 서비스는 아직 공식 발표되지 않았습니다.
오류나 개선할 점을 발견하시면 연락처로 알려주세요.