쓸수록 똑똑해지는 AI 에이전트 — 헤르메스(Hermes) 완벽 정리

01핵심 개요

02무엇이 좋아지나 — 스킬

• 스킬 = "이 일은 이렇게 한다"를 적은 레시피 카드 (일마다 한 장)
• 숨은 숫자 덩어리가 아니라 사람이 읽고 통제 가능한 글
• 기억 두 종류: 사실=메모리 / 방법=스킬 (서로 다른 서랍)
• 스킬 구조: 표지(이름+한 줄 설명) + 본문 4칸(언제 쓰나/순서/주의할 점/확인법)
• 똑똑해짐은 주로 3·4번 칸(주의점·확인법)이 두툼해지는 것 — 함정은 직접 해봐야 알기 때문

03방법 ① 일하며 스킬 쌓기

• 대화 종료 → 사용자에게 먼저 답 → 뒤에서 조용히 복습(사용자는 느려짐 못 느낌)
• 부품 3개: ① 찔러주는 알림(도구 5회 초과 사용 시 트리거) ② 분신(복제본) ③ 정리 도움이
• 적은 스킬은 지금이 아니라 다음 작업부터 적용 — 작업 중 안내문 변경 시 캐싱이 통째로 날아가 비용 급증하기 때문

04분신(서브에이전트)과 3중 잠금

• 분신: 자기 복제본이 방금 대화를 복습하며 스킬화할 것 추출
• 잠금 ①: 권한 제한 — 스킬 읽기·쓰기만 가능(실제 시스템·파일 변경 불가)
• 잠금 ②: 위험 행동 자동 차단(사용자에게 묻지 않고 거부)
• 잠금 ③: 분신이 또 분신 못 만들게 알람 차단 → 무한 복제 방지
• 비용 철학: 부모 글을 글자 그대로 물려받아 캐싱 유지 → 분신 비용 대폭 절감

05정리 도움이 — 스킬 수명 관리

• 발동 조건(동시 충족): 마지막 정리 후 7일 경과 + AI 2시간 이상 유휴
• 스킬 3단계: 활성 → (30일 미사용)휴면 → (추가 90일)보관
• 보관 ≠ 삭제 — 냉장고 정리처럼 안쪽으로 밀어둘 뿐, 언제든 복원
• 안전장치: AI가 만든 스킬만 건드림, 사람이 만든 스킬은 불가침

06방법 ② 날 잡고 스킬 대청소(리팩토링)

• 사람이 시작 버튼을 눌러 실행, 1회당 약 2,000~10,000원
• 6단계: 스킬 읽기 → 시험문제 생성 → 오답 원인 분석 → 고침 버전 다수 생성 → 채점 → 사람 최종 승인
• 핵심: 맞고 틀림이 아니라 "왜 틀렸는지"를 보고 약점만 정확히 수정(오답노트 방식)
• 정답지(eval set): 시키는 일 + "좋은 답의 조건"(체크리스트 핵심 단어) — 사용자 피드백은 여기 한 줄 추가로 반영

07채택 전 5개 관문 + 한계

• 채점 2종: 빠른 거친 채점(핵심 단어 겹침) + 꼼꼼한 AI 심판(정확성·순서·간결성)
• 숨겨둔(held-out) 문제로 비교 — 공부 안 한 문제로 시험해야 진짜 향상 확인
• 5관문 전부 통과해야 적용: ① 전 시험 통과 ② 길이 비대화 안 됨 ③ 표지 보존 ④ 원래 목적 이탈 안 됨 ⑤ 사람 최종 승인
• 효과: 47회 손 가던 일이 12회로 감소 사례
• 한계: 피드백 자동 수집 불가, 완전 무인 아님, 항상 사람 승인 필요, 요약·글짓기처럼 정답 모호한 일엔 약함

08용어 사전