본문으로 건너뛰기
juunghyun
뒤로

"형식은 제각각인데, 니가 완벽한 엑셀 파서 만들어 줘" 해결하기

– 읽음 글 고치기

영어로 읽을래요

“우리 서비스에도 AX 하나 넣어야 하지 않겠어요?”

이미 결정적으로(deterministic) 잘 돌아가는 기능을 두고 AI 전환을 논하는 게 맞는지는 지금도 잘 모르겠다. 어쨌든 그렇게 해서 내가 맡은 일은 엑셀 파일에서 측정 데이터를 뽑아내는 작업이었다.

양식이 없는 엑셀

내가 다뤄야 할 파일은 센서 측정값이 담긴 엑셀이었다. 이 데이터를 쓰려면 지금까지는 사람이 정해진 양식에 맞춰 값을 옮겨 담아야 했다.

내가 하고 싶었던 건 그 옮겨 담는 수고를 없애는 것이었다. 어떤 모양의 파일이 오든 필요한 데이터를 뽑아낼 수 있어야 했다. 문제는 이 파일들에 정해진 형식이 없다는 점이다. 같은 센서도 작성자마다 부르는 이름이 다르고, 새 파일이 들어올 때마다 처음 보는 양식이 하나씩 늘어난다.

일단 던져 보기

처음엔 단순하게 접근했다.

하지만 요구사항을 하나씩 떼어 시험하는 이 속도로는 스프린트 안에 끝낼 수 없었다. 그래서 손을 멈추고 생각의 흐름부터 정리했다.

사람은 이 엑셀을 어떻게 처리하고 있었나

질문을 바꿨다. “LLM에게 뭘 시킬까”보다 “이 일을 사람이 손으로 할 때는 어떻게 하나”를 먼저 봤다. 사람의 워크플로우는 이랬다.

  1. 정해진 양식 파일을 준비한다.
  2. 원본 엑셀에서 측정 데이터 부분만 복사해 센서 종류별 양식에 붙여 넣는다.
  3. 시트 이름을 센서 이름으로 바꾼다. 원본에서 센서 이름은 시트명, 파일명, 시트 상단 제목, 설치 위치 같은 곳에 제각각 적혀 있다.
  4. 단위를 확인한다.
  5. 인쇄영역 안의 데이터만 대상으로 삼는다.

그리고 각 단계를 한 가지 기준으로 갈랐다. 이 단계는 규칙으로 결정할 수 있는가, 아니면 사람이 보고 판단하는가?

이 틀을 잡고 다시 시작했다. 구조는 이렇게 정리됐다. LLM은 레이아웃 계획만 세운다. 어느 셀이 날짜이고, 어느 열이 값이고, 이 블록이 어떤 센서인지를 정한다. 실제 숫자는 코드가 그 좌표를 따라가며 셀에서 직접 읽는다. 계획을 세우지 못한 시트는 LLM이 값을 직접 옮겨 적는 자유해석 경로로 넘어간다. 이 fallback 경로는 뒤에서 다시 문제가 된다.

무엇을 읽혀서 판단하게 할까

틀이 정해지자 다음 질문들이 따라왔다. 사람이 판단하던 부분은 정확히 어디인가? 그 판단에는 어떤 데이터가 필요한가? 그 데이터를 LLM에 어떻게 넘겨야 효율적인가? 중간 결과는 버려도 되나, 캐싱해야 하나?

전부 답하고 시작하면 끝이 없었다. 그래서 일단 MVP 수준으로 작업을 끝까지 완결하는 걸 목표로 잡았다. 그리고 문제는 거의 다 실제로 돌려 보면서 터졌다.

큰 엑셀 하나가 프로세스를 죽였다

테스트 중 큰 엑셀을 처리하자 /health가 타임아웃 나고 Kafka heartbeat가 끊겼다. 파드는 재시작을 반복하다 CrashLoopBackOff에 빠졌고, 다시 뜰 때마다 커밋되지 않은 메시지를 또 소비했다.

왜 재시작되는지 따라가 보니 원인은 이벤트 루프였다. 엑셀 파싱은 동기 CPU 작업인데, 이게 asyncio 이벤트 루프를 붙잡고 있었다. aiokafka의 heartbeat도 같은 루프 위에서 도는 태스크라 루프가 막히면 heartbeat도 같이 멈춘다. health check 타임아웃, heartbeat 정지, 재소비가 한꺼번에 보이면 이벤트 루프 블로킹부터 의심하면 된다.

Kafka 쪽 구현도 다시 봐야 했다. 재소비에 대한 대비가 없었다.

”엑셀을 읽는다”는 게 무슨 뜻인가

메모리를 보기 전에 질문 하나를 먼저 해야 했다. 엑셀을 읽기 좋은 방법은 뭘까? 애초에 여기서 “읽는다”는 건 무슨 뜻일까?

이 파이프라인에게 읽는다는 건 셀 값만 가져오는 일이 아니었다. 어디가 병합된 셀인지, 인쇄영역이 어디까지인지 같은 레이아웃 정보도 함께 필요했다. 사람이 워크플로우 3~5단계에서 눈으로 보던 바로 그 정보다. 처음에 openpyxl을 고른 이유도 이것이다. 병합 셀, 인쇄영역, 임의 셀 접근을 모두 지원했고, 코드 곳곳이 이미 이 기능에 기대고 있었다.

누수인가, 고수위인가

RSS 계측을 붙이고 재 보니 시트가 수십 개인 워크북 하나를 처리하는 데 기가바이트 가까운 메모리를 쓰고 있었다. 처음엔 누수를 의심했지만 아니었다. openpyxl 기본 모드가 워크북 전체를 객체로 올리면서 생기는 고수위(high-water mark)였다. 누수라면 처리할수록 쌓여야 하는데, 순차 처리에서는 쌓이지 않고 동시에 처리할 때만 그만큼 곱해졌다. 급한 불은 동시 처리 수를 낮춰서 끄고, 근본 해결책은 따로 찾았다.

합성 파일(4.3MB, 52시트, 셀 62만 개)을 만들어 세 가지를 비교했다.

파서peak RSS병합 셀인쇄영역임의 셀 접근
openpyxl 기본 모드 (기존)277MBOOO
openpyxl read_only43MB (−85%)XX되지만 매우 느림
calamine22MB (−92%)X (당시)XX

read_only를 골랐다. 감소폭 대부분은 read_only에서 이미 나온다. calamine으로 21MB를 더 아끼려면 인쇄영역과 임의 접근을 포기하고 xls 경로까지 다시 짜야 했다.

read_only에서 빠지는 병합 셀과 인쇄영역 정보는 xlsx 파일(zip) 안의 XML을 zipfile과 iterparse로 직접 읽어 복구했다. 셀 값은 메모리에 올리지 않는다. 함정도 하나 있었다. read_only 모드에서 ws.cell(r, c)는 호출할 때마다 시트를 처음부터 다시 스트리밍한다. 400×30 중첩 루프에서 iter_rows는 20ms, cell()은 110초가 걸렸다.

결과적으로 큰 워크북을 처리할 때 peak 메모리가 4분의 1 수준으로 줄었다.

값은 원본과 똑같아야 한다

메모리를 잡고 나니 더 근본적인 질문이 남았다. 우리가 내보내는 값이 원본 엑셀과 정말 같은가?

정책은 단순하게 정했다. 출력 값은 엑셀에 저장된 값과 같아야 한다. 화면에 보이는 반올림 값이 아니라 셀에 저장된 값이 기준이다. 이 기준으로 파이프라인 전체를 감사했다. 코드가 셀을 직접 읽는 경로는 괜찮았다. 문제는 LLM이 값을 옮겨 적는 자유해석 경로였다. 여기엔 원본과 대조하는 장치가 하나도 없었다. 예를 들어 9.1992가 9.192로 바뀌어도 정상 범위 안이면 그대로 통과할 수 있는 구조였다.

가장 기억에 남는 건 날짜다. 어떤 엑셀은 날짜를 날짜 서식 없이 시리얼 정수(예: 45000)로 저장한다. 자유해석 경로의 LLM이 이 숫자를 날짜로 직접 환산하고 있었는데, 같은 숫자가 어떤 호출에서는 하루 늦은 날짜로, 다른 호출에서는 하루 이른 날짜로 나왔다. 측정값은 전부 맞았기 때문에 아무도 의심하지 않았다.

해결은 단순했다. 시리얼 날짜 열은 코드가 찾아서 ISO 날짜로 바꾼 뒤 LLM에 넘긴다. LLM에게는 계산을 시키지 않는다. 고친 뒤 실제 LLM으로 여러 번 돌려도 날짜가 흔들리지 않았다.

여기에 장치를 하나 더 붙였다. LLM이 내보낸 모든 숫자를 원본 시트의 수치 셀 집합과 정확히 대조해서, 어느 셀에서도 나올 수 없는 값이 나가면 경고를 띄운다. 가지고 있던 샘플 파일 전체에서 오탐은 없었다.

그런데 이 날짜 판별 규칙에도 함정이 있었다. 리뷰어가 샘플 파일 전체로 돌려 보니 날짜가 아닌 측정값이 날짜로 바뀌어 있었다. 마침 날짜 시리얼과 비슷한 크기의 정수였다. 판별 조건이 전부 “숫자의 모양”만 보고 있었기 때문이다. 설계할 때 참고한 파일이 하필 라벨 없는 그리드였고, 나는 “라벨 없이도 판정할 수 있어야 한다”를 모든 파일에 적용되는 규칙으로 일반화해 버렸다.

LLM이 무엇을 만들지는 스키마가 정한다

비슷한 시기에 이상한 걸 하나 발견했다. 어떤 코드도 읽지 않는 필드 하나가 출력 스키마에 필수로 남아 있었는데, LLM은 이걸 꽤 자주 채워 보냈다. 프롬프트에는 그 필드 얘기가 한 줄도 없는데도 그랬다. 필드를 optional로 바꿔도 마찬가지였다. 스키마에 키가 남아 있는 한 LLM은 채운다.

결국 세 단계로 지웠다. optional로 바꾸고, 프롬프트에서 관련 문장을 지워 모든 환경에 배포하고, 마지막에 모델에서 필드를 완전히 뺐다.

하네스

LLM이 섞인 코드는 고치기 무섭다. 실제로 이 파이프라인의 버그 수정 중 꽤 큰 비중이 앞선 수정끼리 부딪혀 생긴 회귀였다.

그래서 LLM 호출 결과를 캡처해 두고 그대로 재생하는 stub을 만들었다. 같은 요청이 오면 캡처된 응답을 돌려주고, 나머지는 전부 프로덕션 코드 경로를 그대로 탄다. LLM 응답이 고정되니 통과 기준은 완전 일치다. 출력에서 한 글자라도 다르면 동작이 바뀐 것이다. 샘플 파일 전체가 LLM 호출 없이 십여 초 만에 돈다. 이 게이트를 깔고 나서야 비대해진 함수를 덜어내는 리팩터링에 들어갈 수 있었다.

배운 것

  1. LLM에게 계산이나 변환을 시키지 마라. 날짜 환산, 단위 변환, 중복 판정은 코드로 결정적으로 처리하는 편이 싸고 정확하다. 매번 같은 답이 나오는 건 덤이다.
  2. LLM이 값을 옮겨 적는 경로가 있으면 원본과 대조하라. 범위 검사로는 옮겨 적다 생긴 오류를 못 잡는다.
  3. LLM의 생성을 부르는 건 프롬프트가 아니라 스키마다. 쓰지 않는 필드는 스키마에서 빼야 사라진다. 스키마를 최신 상태로 유지하라.
  4. 규칙을 만들기 전에 코퍼스 전체를 돌려라. 표본에서 참인 성질이 전체에서도 참이라는 보장은 없다.
  5. 메모리 문제는 누수인지 고수위인지부터 판별하라. 답에 따라 해법이 완전히 달라진다.

AX가 꼭 필요했는지는 지금도 모르겠다. 다만 LLM에게 맡길 일과 코드가 할 일을 가르는 기준 하나는 확실히 남았다. 이건 사람이 보고 판단하던 일인가?

다음 글: 클로드 계정 두 개를 더 쉽게 사용하기 (돈 빨리 녹이기)


글 고치기
이 글 공유하기:

이전 글
refreshToken에 HttpOnly 하나 붙이는 데 사흘이 걸렸다
다음 글
기술 블로그를 시작하는 이유

댓글