오픈AI 컴퓨터 사용 에이전트 오퍼레이터 공개 내 컴퓨터를 AI가 조작한다

오픈AI 컴퓨터 사용 에이전트(CUA) 모델을 기반으로 구동하는 오퍼레이터를 공개하였습니다. 쉽게 설명을 하면 사용자가 명령을 내리면 챗GPT-4o가 CUA를 통해 통해 사용자 컴퓨터를 완벽하게 조작하는 것을 말합니다. 

 

오픈AI 컴퓨터 조작

---

AI는 단순히 질문에 완벽한 답변을 주는 생성형 챗봇을 넘어 사용자가 원하는 행위까지 조작 조정을 하는 오퍼레이터 AI가 되었습니다. 

 

간단하게 설명을 하면 사용자가 '클래식 음악회를 추천하고 예약을 해줘, 애인이랑 2명이 갈 거야'라고 명령을 하면 오퍼레이터가 직접 사용자의 컴퓨터에서 웹사이트와 앱을 이용하여 검색을 하고, 예약까지 하는 행위를 할 수 있게 되었습니다. 

 

기존에 AI 사용법과 완전히 다릅니다. 사용자의 명령에 따라 PC를 AI가 완벽하게 권한을 위임받아 조작 조정을 할 수 있습니다. 

 

다른 예를 보면, '잡채를 할 거야, 필요한 재료를 구매해 줘'라고 명령을 하면 역시 오퍼레이터는 잡채에 필요한 재료를 스스로 검색하고, 쇼핑몰에서 재료를 직접 구매하게 됩니다. 거기다 당연히 요리법(레시피)도 알려줍니다. 

 

 

AI 컴퓨터에게 명령하는 40대 여성

 

 

기존 생성형 AI는 필요한 재료에 대한 설명과 요리법 정도만 알려줬다면, 오퍼레이터는 쇼핑몰에서 주문까지 하는 정도입니다. 이게 어떻게 가능할까요?

 

갤럭시 S25 울트라 가격 카메라 스펙 AI 에이전트 나우 브리프 오디오 지우개

 

오퍼레이터 조작 방법

---

사용자는 텍스트나 음성으로 명령을 하면 그만이지만, 오퍼레이터는 다릅니다. 일단 명령을 받으면 오퍼레이터만 사용할 수 있는 웹브라우저를 이용하여 검색을 합니다. 

 

참고로 오픈AI 오퍼레이터는 챗GPT 프로(월 200달러) 가입자만 사용이 가능하고, 당분간 개발자만 이용할 수 있습니다. 이는 개발자를 통해 피드백으로 오류를 수정하기 위함입니다. 

 

물론 추후에 챗GPT-4o를 같은 브라우저에서 사용할 수 있습니다. 일단 전용 웹브라우저를 통해 검색을 하는 과정에서, 오퍼레이터는 웹사이트를 캡처하여, 빠르게 인식을 합니다. 

 

 

컴퓨터에게 지시하는 남성

 

 

즉 무슨 행위를 해야 하는지 스스로 판단하는 것입니다. 워낙 빨라서 고민을 하지 않는 것처럼 보이지만 AI는 순간적으로 전체 이미지를 파악하고, 필요한 과정을 이행합니다. 참고로 챗GPT-4o는 문맥은 물론이고 추론까지 가능한 AI입니다. 

 

예를 들어 잡채의 경우, 오퍼레이터는 전용 웹브라우저에서 검색 사이트에서 '잡채 재료'를 스스로 검색합니다. 정말 잡채의 필요한 재료인지를 스스로 판단합니다. 

 

잡채에 필요한 재료를 파악하고, 그다음에는 쇼핑몰에 접속하여, 로그인을 하고, 그리고 필요한 재료 직접 구매합니다. 이 과정에서 가상의 마우스와 키보드의 활약을 볼 수 있습니다. 

 

그런데 여기서 약간의 문제가 있습니다. 오퍼레이터는 사용자의 명령을 모두 100% 수행할 수 있지만 사용자의 제한에 따라 온라인 쇼핑몰 결제를 직접 사용자가 할 수 있게 권한을 가질 수 있습니다. 

 

이는 매우 민감함 사항이 될 수 있기 때문에 온라인 결제와 로그인 등은 사용자의 위임 권한이 반드시 있어야 하고, 오픈 AI는 되도록이면 민감한 사항은 사용자가 직접 하기를 추천합니다. 

 

대충 오퍼레이터 조작 방법을 아시겠죠? 실제로 쇼핑만 하는 것이 아니고, 컴퓨터 안에 있는 데이터는 물론이고 웹사이트와 앱 등을 모두 AI가 원격 조정 하듯이 사용이 가능합니다. 

 

재밌는 것은 사용자 컴퓨터의 음악 플레어가 있다면 '밤에 듣기 좋은 음악을 들려줘, 그리고 리스트도 만들어줘'라고 명령을 할 수 있습니다. 그럼 오퍼레이터는 사용자 컴퓨터에 있는 음원을 통해서 리스트를 만들고 음악을 작동합니다. 

 

물론 오퍼레이터는 사용자 컴퓨터 내에 있는 음원만 사용하는 것은 아닙니다. 웹사이트나 앱에 있는 음원도 조작할 수 있습니다. 물론 아직 음원 사이트와 협약을 맺은 상황은 아닙니다. 

 

대체로 사용 가능한 앱은 쇼핑몰, 항공기, 여행 사이트, 식당, 숙박, 우버 호출 등만 가능합니다. 하지만 추후 계속 늘어날 예정입니다. 

 

애플 맥북 에어 M4 13인치 가격 출시일 16GB 램 인텔리전스

 

오퍼레이터 문제점

---

전문가들은 사용자의 컴퓨터를 전적으로 AI에게 맡기는 것은 상당히 위험하다는 의견이 있습니다. 왜냐하면 인간이 AI를 만들었지만 실제로 정확하게 어떤 원리도 작동을 하는지 완벽히 알 수 없습니다. 

 

즉 인간이 AI를 제어할 수 있다고 생각하지만 실제로 AI를 통제할 수 없는 지경에 이룰 수 있다는 것입니다. 예를 들어 쇼핑몰에서 물건을 살 때 사용자는 자신이 직접 결제를 하도록 하였지만, AI가 사용자의 결제 정보를 알고 있다면 이를 완벽히 제어할 수 있을지는 의문입니다. 

 

필요에 따라서 AI는 스스로 사용자의 명령이 있었다고 판단하여 스스로 명령을 수행할 수 있습니다. 매우 위험한 도구가 될 수 있습니다. 

 

문제는 여기서 끝나지 않습니다. 사용자 몰래 타인에게 이 메일을 보낼 수 있고, 또 컴퓨터에 있는 중요한 자료를 습득하고 학습하여 사용자가 요구하는 이상의 추론으로 명령을 시행할 수 있습니다. 

 

결국 사용자가 명령한 결과 이상의 행위를 할 수 있다는 것입니다. 그런데 AI가 컴퓨터만 조작하는 것이 아닙니다. 혹시 컴퓨터와 연결되어 있는 디지털 기기까지 모두 조작할 수 있습니다. 매우 위험합니다. 

 

결국 오픈AI 컴퓨터 사용 에이전트 CUA 오퍼레이터는 인간에게 매우 편리한 인공지능이 될 수 있지만 인간을 오히려 역 이용하는 AI가 될 수도 있습니다. 

 

거기다 윤리 문제도 심각합니다. AI는 특별한 인간의 윤리적 판단을 하지 않습니다. 인간이 통제할 수 있다고 하지만, AI는 스스로 판단하고 추론을 하여 행위를 결정할 수 있습니다. 이럴 경우 책임 소재가 사용자에게 있는지, 아니면 스스로 결정하는 AI에게 있는지 판단하기 어렵습니다. 

 

 

AI 이미지 상상

 

 

핵심은 오픈AI 컴퓨터 사용 에이전트 CUA 오퍼레이터는 인간이 철저하게 통제할 수 있을 때 사용이 가능해야 합니다. 또 즉시 행위를 정지할 수 있는 권한도 반드시 있어야 합니다. 그렇지 않으면 사용자가 원하는 범위를 벗어난 결과가 발생할 수 있습니다. 결국 인류가 AI를 통제하고 윤리적인 문제를 해결하지 않으면 절대로 AI 스스로가 뭘 할 수 있게 하면 안 됩니다. 

 

애플워치 AI 기능 알림 요약 중요한 알림 선별 방해 중지 무음

 

애플 맥북 프로 출시 가격 AI 인텔리전스 M4 성능 디스플레이 배터리 아이폰 미러링