Skip to content

코딩 5종·20회 기준선과 독립 완료·비용 집계 추가 - #153

Draft
SonAIengine wants to merge 2 commits into
mainfrom
codex/coding-baseline-20261120
Draft

SonAIengine wants to merge 2 commits into
mainfrom
codex/coding-baseline-20261120

Conversation

@SonAIengine

@SonAIengine SonAIengine commented Nov 20, 2026 •

Copy link
Copy Markdown
Contributor

하네스 변경 전후를 같은 조건에서 비교할 실제 모델 코딩 회귀 기준선을 추가한다. 공개 xgen run/resume으로 질문·버그 수정·다중 파일 rename·실패 복구·승인 재개의 설계/보류 사례를 기본 2회씩, 총 20 trial 실행한다.

독립 oracle과 파일 보존 검사로 잘못된 완료를 구분하고, Receipt 기반 반복·실패 후 성공·승인 전 실행·offline replay를 집계한다. 기존 planning pilot의 요청 전 비용 예약과 UNKNOWN 비용 보존을 재사용한다. 원본 응답과 인증값은 결과 집계에 넣지 않고, 개발 중 --split design, 고정 후보 검증 시 --split held_out을 선택할 수 있다. Runtime·prompt·사용자 배포본은 변경하지 않는다.

검증:

  • 전체 Python 검사 168개 중 112개 통과, 56개 조건부 skipped.
  • 새 검사 6개 통과. 실제 public CLI + loopback mock의 정상 10 trial과 잘못된 완료 10 trial 판정, fixture 원본 실패/알려진 수정 성공, 비용 불명·누락 과업 보존 확인.
  • 공개 문서 계약과 diff whitespace 검사 통과.

실제 모델 평가는 아직 실행하지 않았다. 활성 모델의 catalog 검사에서 authentication_rejected를 확인했으며, 로컬 인증과 유효한 quote가 필요하다. Mock usage·가격은 합성값이고 모델 완료율·절감 효과를 주장하지 않는다. 전체 실행 방법과 한계는 docs/development/coding-baseline.md에 기록했다.

최종 커밋 db5dead의 Fast / Linux CI가 통과했다. 전체 platform matrix는 이번 Python 평가 도구 변경의 PR gate 대상이 아니며 실행하지 않았다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant