Repository navigation
코딩 5종·20회 기준선과 독립 완료·비용 집계 추가 - #153
Draft
SonAIengine wants to merge 2 commits into
Draft
SonAIengine wants to merge 2 commits into
SonAIengine wants to merge 2 commits into
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
하네스 변경 전후를 같은 조건에서 비교할 실제 모델 코딩 회귀 기준선을 추가한다. 공개
xgen run/resume으로 질문·버그 수정·다중 파일 rename·실패 복구·승인 재개의 설계/보류 사례를 기본 2회씩, 총 20 trial 실행한다.독립 oracle과 파일 보존 검사로 잘못된 완료를 구분하고, Receipt 기반 반복·실패 후 성공·승인 전 실행·offline replay를 집계한다. 기존 planning pilot의 요청 전 비용 예약과 UNKNOWN 비용 보존을 재사용한다. 원본 응답과 인증값은 결과 집계에 넣지 않고, 개발 중
--split design, 고정 후보 검증 시--split held_out을 선택할 수 있다. Runtime·prompt·사용자 배포본은 변경하지 않는다.검증:
실제 모델 평가는 아직 실행하지 않았다. 활성 모델의 catalog 검사에서
authentication_rejected를 확인했으며, 로컬 인증과 유효한 quote가 필요하다. Mock usage·가격은 합성값이고 모델 완료율·절감 효과를 주장하지 않는다. 전체 실행 방법과 한계는docs/development/coding-baseline.md에 기록했다.최종 커밋
db5dead의 Fast / Linux CI가 통과했다. 전체 platform matrix는 이번 Python 평가 도구 변경의 PR gate 대상이 아니며 실행하지 않았다.