경험을 Memory로, 노하우를 Skill로
Agent 경험치 연구소는 Agent의 원리와 활용법을 공부하고, 작업에 필요한 정보와 절차를 파일에 정리해 다음 작업에 활용하는 12주 스터디+실험 프로젝트입니다
Codex와 Claude Code를 사용합니다. 첫 4주는 학습과 실습, 이후 8주는 비교 실험과 동료 검토를 진행합니다. 어떤 정보를 남기고 어떤 절차를 고쳐야 도움이 되는지 확인하고, 다른 사람도 따라 할 수 있는 실습 자료와 안내서를 남깁니다.
Agent에게 매번 같은 배경을 설명하거나, 전에 잘됐던 방법이 새 작업에서는 잘 안 된 적이 있나요?
예를 들어 자료를 찾는 기간을 최근 30일에서 14일로 바꿨는데, 작업 절차에는 여전히 ‘30일 이내 자료 고르기’가 남아 있을 수 있습니다. 새 조건을 알려주는 것만으로 충분한지, 절차도 함께 고쳐야 하는지 확인하려 합니다.
이 프로젝트에서는 정보를 담은 파일과 절차를 담은 파일을 다음과 같이 구분합니다.
- Memory: 작업의 배경, 지켜야 할 규칙, 직접 확인한 경험을 적어 둔 파일입니다. 다음 작업에서 이 파일을 참고하도록 Agent에게 요청합니다.
- Skill: 반복할 작업의 순서와 각 단계에서 확인할 내용을 적어 둔 파일입니다. 언제 이 절차를 사용하면 되는지도 함께 적습니다.
주간 기술 브리핑을 만든다면, Memory에는 ‘최근 30일 자료 사용’, ‘원문 URL과 자료를 고른 이유 표시’를 적습니다. Skill에는 ‘발행일 확인 → 최근 30일 자료 고르기 → 핵심 내용 요약 → 원문과 대조’를 적습니다. 다음 작업에서는 이 파일들을 참고해 브리핑을 만들도록 요청하고, 실제 결과가 규칙과 절차를 따랐는지 확인합니다.
파일을 적어 두는 것만으로 Agent가 다음 대화에서 자동으로 기억하는 것은 아닙니다. 필요한 파일을 제공하거나 읽도록 요청하고, 결과를 확인하는 과정까지 함께 연습합니다.
작업 조건이 바뀌면 어떤 파일의 어느 내용을 고쳐야 할까? 고친 뒤에는 결과가 나아졌는지 어떻게 확인할까?
연구 질문: 작업 조건이 바뀌었을 때, Memory만 고치는 것과 관련 Skill까지 함께 고치는 것은 결과에 어떤 차이를 만들까?
모두 원문 URL과 자료를 고른 이유가 있는 주간 기술 브리핑을 만듭니다. 같은 기술 자료 묶음에서 최근 30일 자료를 고르던 조건을 최근 14일로 바꾸고, 아래 두 방식을 비교합니다.
- Plan A — Memory만 수정: Memory의 기간을 14일로 고치고, 30일 조건에서 잘 작동했던 Skill은 그대로 사용
- Plan B — Memory와 관련 Skill을 함께 수정: A와 똑같이 고친 Memory를 사용하고, Skill의 자료 선정·날짜 확인 절차도 14일에 맞게 수정
두 방식에 같은 최신 규칙과 자료를 제공합니다. 도구·모델·설정과 시작 상태를 맞춰 여러 번 실행하고, Codex와 Claude Code의 결과는 따로 정리합니다. 절차를 만들고 고치는 데 쓸 연습용 자료와 결과를 평가할 자료도 나눕니다. 먼저 소규모로 실행해 시간과 도구 이용 한도를 확인한 뒤, 과제 수와 반복 횟수를 정합니다.
확인할 내용은 다음과 같습니다.
- 바뀐 기간 조건을 지켰는지, 출처와 요약이 정확한지
- 어떤 오류가 남았는지, 수정한 절차가 변경 전 조건에서도 잘 작동하는지
- 사람이 Memory·Skill을 고치고 결과를 검토하는 데 얼마나 걸렸는지
- 동료가 같은 자료와 안내를 보고 다시 실행할 수 있는지
요청한 내용, 제공한 파일, 설정, 실행 결과와 평가 근거를 함께 남깁니다. Agent가 어떤 파일을 읽었는지 확인할 수 없거나 실행이 중단된 경우도 기록합니다. 결과가 좋아진 경우뿐 아니라 차이가 없거나 나빠진 경우도 남기고, 확인한 사실과 아직 알 수 없는 점을 구분합니다.
- 다음 작업에 필요한 규칙·경험과 작업 순서를 파일에 정리하고, 사용·수정한 결과 설명하기
- A/B의 결과·오류·수정 시간을 비교하고, 동료가 다시 실행해 확인하기
- 다른 사람이 따라 할 수 있는 실습 자료, 비교 보고서, 파일 수정·확인 안내서 완성하기
- 실습 자료 묶음: 예제 과제, 규칙·경험을 기록한 파일(Memory), 작업 절차 파일(Skill), 수정 전후 기록, 실행·초기화 안내, 평가표와 실행 결과
- 비교 보고서: A/B의 결과와 오류, 수정·검토 시간, 도움이 된 조건과 한계
- 파일 수정·확인 안내서: 조건이 바뀔 때 기록과 관련 절차에서 고칠 부분을 찾고, 수정 후 결과를 확인하는 순서
- 개인 사례 1개: 공통 실험에서 맡은 내용이나 자기 업무에 적용한 과정, 결과와 확인 근거
- 성장 기록: 첫 주와 마지막 주의 요청 문장, Memory·Skill 사용법, 출처와 결과를 확인하는 방법 비교
공개할 수 있는 자료는 이 저장소에 정리합니다. 개인 사례는 공통 실험에서 맡은 내용으로 작성해도 됩니다. 별도의 앱 개발이나 논문 작성·투고는 필수가 아닙니다. 관련 논문은 개념을 배우고 실험 방법을 정할 때 함께 읽습니다.
총 12주: 4주 스터디·실습 + 8주 실험·결과물 제작
정기 모임은 주 1회 2시간입니다. 날짜·시작 시각·장소는 확정 후 업데이트하며, 첫 주는 오프라인 OT로 진행합니다.
| Week | 날짜 | 시간 | 주요 활동 | 결과물 |
|---|---|---|---|---|
| W01 | 미정 | 미정 · 2시간 | Agent의 작동 방식 — 오프라인 OT, 모델·Agent·실행 도구(Harness)의 역할, 지시→도구 사용→결과 확인 실습 | 개인 목표, 첫 요청 문장·실행 기록 |
| W02 | 미정 | 미정 · 2시간 | Memory와 작업 배경 — 규칙·배경·경험을 파일에 기록, 새 대화에서 참조 요청과 결과 확인 | 작업 규칙·경험을 정리한 파일, 수정·실행 기록 |
| W03 | 미정 | 미정 · 2시간 | Skill과 도구 연결 — 도구 호출·연결 방법 학습, 자료 선정→요약→출처 확인 절차 작성과 다른 자료에 적용 | 작업 절차 파일, 적용 조건·수정 이유 |
| W04 | 미정 | 미정 · 2시간 | 완료 기준과 결과 확인 — 자료 선정 기간을 30일→14일로 변경, Memory만 고친 결과와 Skill도 고친 결과 비교 | 작은 비교 실습 결과, 평가표 초안 |
| W05 | 미정 | 미정 · 2시간 | A/B 비교 준비 — 연습용·평가용 자료 구분, A/B 파일 준비, 도구·모델·설정·시작 상태 통일 | 실험 계획, A/B 파일, 실행 준비 안내 |
| W06 | 미정 | 미정 · 2시간 | 이용 한도와 시간·비용 — 소규모 실행으로 도구 사용량과 수정·검토 시간 확인, 과제 수·반복 횟수 확정 | 사전 실행 기록, 실험 분량·설정 |
| W07 | 미정 | 미정 · 2시간 | 본실험과 실행 기록 — 같은 평가 자료로 A/B 실행, 도구 사용·파일 참조·결과와 평가 근거 기록 | 요청·실행 결과, 평가·소요 시간 |
| W08 | 미정 | 미정 · 2시간 | 반복 실행과 기존 조건 점검 — 변경 전 조건에서도 실행, 도구·조건별 정확성·오류·수정 시간 비교 | A/B 비교표, 개선·차이 없음·악화 사례 |
| W09 | 미정 | 미정 · 2시간 | 동료 재실행과 평가 검토 — 주요 사례 재실행, 평가 차이 확인, 기준 수정 시 관련 결과 재검토 | 재실행 기록, 보고서·안내서 초안 |
| W10 | 미정 | 미정 · 2시간 | 개인 사례와 활용 조건 — 사례 1개의 문제·수정·결과 정리, 개인 업무 적용과 공통 실험 결과 구분 | 개인 사례·실습 자료 초안 |
| W11 | 미정 | 미정 · 2시간 | 변경 이력과 실습 점검 — 이전 상태로 되돌려 실행, 빠진 파일·설명 보완과 성장 비교 과제 준비 | 보완한 실습 자료·보고서·안내서, 비교 과제 |
| W12 | 미정 | 미정 · 2시간 | 성장 비교와 최종 공유 — 첫 과제와 변형 과제 수행, 도구·설정·숙련도 영향 기록, 전원 사례·결과물 공유 | 최종 실습 자료·보고서·안내서, 개인 사례·성장 기록 |
학습 기준 자료는 「에르메스단학습용 기술 용어집」입니다. 도구 호출(Tool Calling), 외부 도구를 연결하는 규약(MCP), 이용 한도(Quota), 사용·관리까지 포함한 총비용(TCO)도 실습과 함께 배웁니다. 관련 논문과 공식 기술 자료를 함께 읽고, 후반 8주에는 실험에 필요한 개념을 복습하며 사용합니다.
빌더 1명과 러너 약 6명이 함께합니다. 러너 명단은 선정 후 업데이트합니다.
| Role | Name | 담당 |
|---|---|---|
| Builder · 빌더 | @SeoIn-Yeo | 주제·일정 운영, 매주 발표, 공통 과제 준비와 실험 검토 |
| Runner · 러너 약 6명 | 선정 후 공개 | 매주 학습·실험 기록, 랜덤 발표, 서로의 결과 검토와 공동 결과물 작성 |
공부하고 → 실험을 준비하고 → 실행하고 → 확인하고 → 고치고 → 공유합니다
- 발표 40분: 빌더 1명과 랜덤으로 선정한 러너 3명이 각 10분 발표, 빌더는 매주 고정
- 질의응답 20분: 발표 내용, 실험 방법과 결과, 막힌 점에 대한 질문과 답변
- 함께 작업하는 60분: 1–4주차는 스터디·토론·명령어 실습, 5–12주차는 실험 진행·공유와 서로의 결과 검토
마지막 주도 2시간으로 진행합니다. 정규 발표와 질의응답 뒤 60분에는 나머지 러너의 사례와 성장 기록도 함께 나눕니다.
발표 여부와 관계없이 모두 노션 한 페이지를 작성합니다. 별도 슬라이드는 준비하지 않아도 됩니다. 동료의 기록을 읽고 질문을 최소 하나 준비합니다.
- 이번 주 질문
- 공부하거나 시도한 내용과 Agent에게 보낸 요청 문장(프롬프트), 수정한 부분
- 결과와 확인 근거
- 배운 점과 막힌 점
- 다음 실험 목표
- 작은 과제부터 실행하고 결과를 원자료와 비교합니다
- 성공·실패·차이가 없거나 나빠진 결과를 함께 기록합니다
- 동료가 따라 할 수 있도록 파일과 실행 방법을 남깁니다
- 내가 도구에 익숙해진 것과 Memory·Skill 수정의 효과를 구분합니다
- 서로의 기록에 질문하고, 막힌 부분을 함께 해결합니다
- Codex 또는 Claude Code를 써봤고 자기 작업에 더 잘 활용하고 싶은 분
- 규칙과 절차를 파일에 적어 사용하고, 고쳐 보며 어떤 도움이 되는지 확인하고 싶은 분
- 논문과 기술 자료를 읽고 궁금한 점을 직접 실행해 확인하고 싶은 분
- 12주 동안 기록·발표·서로의 결과 검토에 꾸준히 참여할 수 있는 분
파일·폴더를 관리하고 안내를 보며 간단한 명령어를 실행할 수 있으면 좋습니다. Agent 연구나 논문 발표 경험은 필수가 아닙니다. Codex와 Claude Code 중 익숙한 도구로 실험하고, 다른 도구는 시연과 기록을 보며 함께 배웁니다.
- 정기 모임: 주 1회 2시간, 첫 OT는 오프라인 참여
- 모임 외 준비: 자료 읽기·실험·결과 검토·노션 정리에 주 3시간 정도 권장
- 도구: Codex 또는 Claude Code를 사용할 수 있는 환경과 최소 한 가지 유료 플랜 준비, 구독 비용 개인 부담
- API 사용 시: 사용할 범위와 예상 비용을 먼저 확인, 별도 비용 발생 가능
- 현재 하는 업무·학습·프로젝트와 Agent 사용 경험
- Agent로 개선하고 싶은 작업과 불편한 점
- 12주 동안 배우거나 완성하고 싶은 개인 목표
- 파일 관리·명령어 실행 경험과 도움이 필요한 부분
- 매주 참여 가능한 시간과 유료 도구 준비 가능 여부
사용 경험과 개인 목표, 참여 가능한 시간, 꾸준히 기록하고 실험하려는 의지를 보고 러너 약 6명을 선정합니다.
- 프로젝트 안내: 가짜연구소 프로젝트 페이지
- 커뮤니티: 가짜연구소 Discord
- 프로젝트 전용 채널과 청강 일정: 확정 후 안내
현재는 프로젝트 계획 단계입니다. 아래 결과물은 제작·검토 후 링크를 추가합니다.
- Repository: Pseudo-Lab/Agent-XP-Lab
- Result / Product: 작업 기록(Memory)과 절차(Skill)를 수정·확인하는 실습 자료 — 제작 예정
- Research / Experiment: A/B 비교 보고서와 실행 기록 — 실험 후 공개 예정
- Demo: 실습 자료를 따라 실행한 예시 — 제작 예정
- Documentation: 실행 준비와 파일 수정·확인 안내서 — 작성 예정
- Blog / Article: 실험 결과와 배운 점 정리 — 작성 예정
- Presentation: 최종 공유 자료 — 정리 후 공개 예정
| 시점 | 내용 | 기록 |
|---|---|---|
| 1주차 · 날짜 미정 | 오프라인 OT와 첫 실행 | 진행 후 추가 |
| 6주차 · 날짜 미정 | 소규모 실행 결과 확인과 본실험 분량 확정 | 진행 후 추가 |
| 8주차 · 날짜 미정 | A/B 결과 비교 | 진행 후 추가 |
| 12주차 · 날짜 미정 | 최종 결과물과 성장 기록 공유 | 진행 후 추가 |
이 프로젝트는 가짜연구소 Open Academy로 진행됩니다. 함께 공부하고 실험을 검토하는 러너와 커뮤니티 기여자에게 감사합니다.
가짜연구소(Pseudo-Lab)는 Sharing, Motivation, Collaborative Joy를 바탕으로 함께 배우고 연구하는 AI 커뮤니티입니다.
This project is licensed under the MIT License.