진행중
화면→판단→피코 — 눈·두뇌·손을 나눈 범용 데스크톱 자동화
맥이 화면을 캡처해 LLM으로 '무엇을 할지'만 판단하고, 라즈베리파이 피코(가짜 HID 키보드)가 사람다운 타이밍으로 실제 키를 눌러 윈도우 데스크톱을 조작한다. 내가 만든 게임 테스트·엑셀 등 내 화면의 반복작업 자동화용(온라인 게임 안티치트 회피 목적 아님). 판단 모듈은 API(클로드·GPT)든 로컬(Ollama)이든 갈아끼우는 부품으로 분리한 게 핵심.
~ 진행중
기록
빌드 가이드 — 화면 보고, LLM이 판단하고, 피코가 누른다
맥(두뇌)이 화면을 보고 LLM으로 무엇을 할지 판단한 뒤, 라즈베리파이 피코(가짜 키보드)가 사람다운 타이밍으로 실제 키를 눌러 윈도우를 조작한다. 캡처보드 없이 맥 한 대에서 개념을 익힌 뒤 분리하는 단계별 로드맵.
봇을 어떻게 잡나, 그리고 나는 어떻게 만드나 — 음성 대화로 게임 보안부터 범용 자동화까지
본체가 ChatGPT 음성 대화로 공부한 여정. 게임이 봇·매크로를 잡는 법(행동 분석+환경 검사)에서 출발해, 하드웨어 매크로는 왜 원리상 잡기 어려운지, 그리고 화면 보고 LLM이 판단해 피코로 실행하는 '범용 컴퓨터 조작 에이전트'를 직접 만드는 설계(내 게임 테스트·내 화면 자동화용)까지. AI가 그린 지도는 큰 방향으로 믿되 세부는 검증하라는 교훈과 함께.