AX(AI Transformation)를 하고 싶었다. 그런데 할 곳이 없었다.
내가 공부하는 것 중 꽤 큰 파이를 에이전트가 차지하고 있었다. LLM을 다루는 일, 그리고 LLM의 불명확한 출력과 확실하게 처리해야 할 부분을 구분하는 일 같은 것들에서 경험치를 더 쌓고 싶었다. 그런데 내 조직에서 필요로 하는 작업에서는 그걸 경험할 수 없었다.
그렇다면 시야를 넓혀, 내가 원하는 곳에서 그 일을 하는 사람들과 같이 소통하고 경험하고 싶었다. 그렇게 자연스럽게 오픈소스라는 대항해를 시작했다.
AI 프로젝트는 대부분 GitHub에 공개돼 있고, 누구나 이슈를 올리고 PR을 낼 수 있다. 최적의 환경이 아닐까??
그래서 그 생각을 한 당일 실행으로 옮겼고, 지금까지 네 개 레포에 PR 8개를 냈다. 두 레포에서 4개가 머지됐고, 나머지 두 레포의 4개는 리뷰를 기다리고 있다.
| 레포 | 무엇 | PR | 결과 |
|---|---|---|---|
| HKUDS/DeepTutor | 멀티 에이전트 AI 튜터 | 2 | 머지 |
| billion-context | AI 코딩 에이전트용 컨텍스트 압축 플러그인 | 2 | 머지 |
| LangChain4j | 자바 LLM 프레임워크 | 2 | 대기 |
| Embabel | JVM 에이전트 프레임워크 | 2 | 대기 |
이 글은 머지된 두 레포를 중심으로, 맨땅에서 시작해 머지까지 간 과정을 적는다.
레포는 스타 수가 아니라 머지율로 고른다
처음 떠올린 기준은 유명한 레포였다. 스타가 많이 박힌 레포일수록 사람들이 느끼는 pain-point 혹은 니즈를 가장 잘 반영하는 레포일 것! 이라는 이유가 있었다. 그런데 유명한 레포일수록 외부 PR이 몇 달씩 열려 있거나, 아예 외부 PR을 받지 않는다. 내가 원한 건 메인테이너 그리고 외부 기여자들과 소통하고, 내가 생각한 것을 논의하는 자리였다. 그 자리는 외부 PR이 실제로 읽히고 머지되는 레포에서만 생긴다. 그래서 나는 머지율을 먼저 봤다.
먼저 외부 PR을 받는 레포인지부터 본다. GitHub 설정이 협업자 전용이거나, CONTRIBUTING에 “외부 PR을 받지 않는다”고 적힌 레포는 내가 찾은 버그가 실측되어도 PR이 닫힌다. 근데 또 설정은 열려 있는데 문서에서 거부한다고 알려 주는 레포도 있어서 둘 다 확인했다.
- 외부 PR 머지율. 70% 이상이면 좋고, 40% 미만이면 피하자
- 머지까지 걸리는 시간. 중간값이 1주 이내인지?
- 오래 방치된 외부 PR이 쌓여 있는지?
- 로컬에서 테스트를 돌릴 수 있는지. GPU나 유료 API가 필수인지? (장비도 없고 돈도 없음.. )
DeepTutor를 골랐을 때는 PR 1,322개와 이슈 780개를 분석했다. 거기서 나온 결론이 이랬다.
- 이슈와 PR을 1시간 안에 같이 낸다. 이슈만 올리면 다른 사람이 먼저 고친다.
fix(scope): …제목에 회귀 테스트, 50~300줄. 첫 PR 중 이 조건을 갖춘 것은 86%가 머지됐다.
billion-context는 다른 경로로 왔다. 꽤 많은 사람들이 고민했던 지점일 것 같은데, 나도 “컨텍스트 관리를 어떻게 해야 하지?”라는 고민을 실제로 해 본 적이 있다. 마침 같은 고민을 다루는 레포가 GitHub 트렌딩 상위 10위에 올라와 있어서 후보에 올렸다.
버그는 이슈를 읽어서가 아니라 직접 돌려서 찾는다
이슈 목록에서 고칠 거리를 고르면 이미 누가 손대고 있거나, 메인테이너가 원하지 않는 방향일 때가 많다. 그래서 직접 돌렸다.
DeepTutor는 출시 다음 날의 v1.7.0을 내려받아 설치하고, 백엔드 테스트 11,601개와 프론트 검사 전체를 돌렸다. 맥에서 실패한 3건 중 2건이 실제 버그였다. 메인테이너가 매일 돌려 보지 않는 환경은 그 자체로 버그를 찾을 기회다.
에이전틱한 개발 방식이 자리 잡은 지금, 빠른 생산성 뒤에 결함이 숨어 있을 수 있다고 생각했다. 그래서 어디를 볼지 기준을 먼저 정하고, AI 에이전트에게 그 기준별로 렌즈를 나눠 코드를 훑게 했다. 후보가 31개 나왔고, 검증 에이전트는 31개 전부 “새로운 진짜 버그”라고 판정했다. 100% 확정은 의심해야 한다. 거기서 내가 잘할 수 있는 것과 해 보고 싶은 것 7개를 골라 내가 직접 재현하여 선정했다.
수정은 작게 하고, 테스트는 반드시 수정 전에 실패하고 수정 후에 통과하는지 확인했다. 기존 테스트 헬퍼가 버그를 가리고 있던 일이 있어서다. 테스트가 통과한다고 버그가 없는 게 아니었다.
DeepTutor: 하루 만에 머지
10월 30일에 이슈 두 개와 PR 두 개를 올렸다.
- #2178: 번역 키에 콜론(
:)이 들어가면 화면에 빈칸이나 깨진 글자가 나왔다. 번역 라이브러리가 콜론을 네임스페이스 구분자로 읽고 있었다. 설정 두 줄과 테스트 하나로 고쳤다. - #2185: 없는 지식 베이스를 찾으면 404 대신 500이 났다. v1.7.0에서 생긴 회귀였다. 예외 처리 24곳을 고치고, 라우트 41개를 전부 재서 회귀 직전과 같은 결과가 나오는 걸 확인했다.
다음 날 둘 다 머지됐고, v1.7.1에 들어갔다. 메인테이너 말고 다른 기여자가 리뷰를 남겼는데, 브랜치를 직접 받아 라우터 테스트를 돌려 보고 “149 passed”를 붙여 줬다. 남의 PR을 직접 돌려 보는 사람이 있다는 게 인상적이었다.
billion-context: 메인테이너의 AI 봇에게 리뷰받다
11월 9일에 이슈 두 개와 PR 두 개를 올렸다.
billion-context는 코딩 에이전트와 AI 모델 서버 사이에 끼어서 요청을 대신 전달해 주는 도구다.
- #6006: 모델 서버가 계속 실패하면 billion-context는 한동안 요청을 막는다. 그리고 잠시 뒤 시험 삼아 요청 하나만 보내 서버가 살아났는지 확인(half-open probe)한다. 문제는 이 시험 요청이 응답 없이 붙잡혀 있으면, 시험 자리가 영영 비지 않는다는 것이었다. 서버가 살아나도 프로그램을 재시작하기 전까지 모든 요청이 막혔다. 그래서 시험 자리에 유효 기간을 줬다. 일정 시간이 지나면 다음 요청이 다시 시험할 수 있다.
검증은 실제 시간을 기다리는 대신, 시간을 마음대로 빨리 감을 수 있는 가짜 시계로 했다. 요청 실패, 성공, 시간 경과를 무작위로 36만 번 섞어 수정 전과 후에 똑같이 넣었다. 결과가 달라진 1,438건은 모두 “수정 전엔 막히고 수정 후엔 통과”였다. - #6008: 코딩 에이전트가 연결을 끊어도, billion-context가 이미 모델 서버로 보낸 요청은 취소되지 않고 끝까지 돌았다. 아무도 받지 않을 답에 비용을 쓰고 있었다.
이 레포의 리뷰는 사람이 아니라 메인테이너가 돌리는 AI 봇이 했다. 봇은 열린 이슈와 PR을 뒤져 중복이 아닌지 확인하고, 라벨을 붙이고, 원인을 독립적으로 다시 재현한 뒤 “머지 가능”을 판정했다. #6008에는 Node 소스까지 읽고 실측한 근거를 달았다. 그다음 봇이 “브랜치가 3커밋 뒤처졌으니 rebase하라”고 했다. rebase하고 답을 달자, 봇이 새 커밋을 다시 검증하고 CI 30개가 모두 통과한 걸 확인한 뒤 “사람이 머지할 차례”라고 남겼다.
#6006은 올린 지 7시간 만에, #6008은 다음 날 머지됐다. 머지되자마자 그 커밋이 들어간 빌드가 npm에 올라갔다.
AI로 기여한다는 것
두 레포 모두 Claude Code와 함께 조사하고 고쳤다. 그리고 PR 본문 끝에 그렇게 적었다.
AI-assisted: I investigated and prepared this change with Claude Code, then reproduced and verified the results myself.
e2e로 AI에게 위임한 것은 아니고, 아래와 같은 기준으로 진행했다.
- 실측한 것만 쓴다. 직접 재현하지 않은 버그, 확인하지 않은 숫자는 이슈에 넣지 않는다.
- 올리는 건 내가 한다. 커밋, push, 이슈와 PR 게시는 AI가 아니라 내가 직접 한다. 남의 레포에 남는 글의 책임은 내 이름에 붙는다.
- 어디를 고칠지는 내가 정한다. 에이전트가 31개를 찾아와도, 무엇을 올릴지는 내가 재현해 보고 고른다.
AI가 버그를 찾고 코드를 고칠 수는 있다. 하지만 메인테이너가 받아들일 만한 크기로 자르고, 레포의 관례를 맞추고, 결과를 책임지는 건 여전히 사람의 몫이었다.
아직 기다리는 것
LangChain4j와 Embabel에 낸 PR 4개는 리뷰를 기다리고 있다. LangChain4j는 메인테이너 한 사람이 리뷰를 맡고 있어 첫 PR의 45%가 아직 열려 있는 레포다. 그래도 골랐다. LangChain은 내가 실제로 쓰는 프레임워크이고, 앞으로 내 서비스에서 4j로의 전환을 논할 수도 있다. 그래서 PoC를 겸해 코드를 보면서 버그를 찾았다.
Embabel에서는 메인테이너가 “예시 위주로 단계별로 다시 설명해 달라”고 해서 본문을 다시 썼다. 머지 여부와 상관없이, 내 설명이 메인테이너가 읽기 좋은 글이었는지 돌아보게 됐다.
배운 것
- 스타 수가 아니라 머지율로 고른다. 외부 PR을 받는지부터 확인한다.
- “해줘”가 아니라 직접 돌린다. 이슈 목록보다 로컬 실행에서 나온 실패가 더 확실한 버그다. 메인테이너가 잘 안 돌리는 환경을 노린다.
- 100% 확정은 의심한다. 에이전트가 전부 진짜라고 하면 직접 재현한다.
- 수정 전에 실패하는 테스트를 만든다. 통과하는 테스트가 버그를 가리고 있을 수 있다.
- 레포의 리듬에 맞춘다. 제목 형식, 이슈와 PR을 같이 내는 시간까지.
- AI 사용은 밝히고, 책임은 내가 진다. 실측한 것만 쓰고, 게시는 직접 한다.
아직 기다리는 PR도 있고, 앞으로도 꾸준히 외부 기여자, 메인테이너들과 소통하는 활동을 해 보려 한다. 즐겁고, 그들과의 논의에서 얻는 인사이트도 훌륭하다.
댓글