📚 docrepo — 노조 아카이브 독립 배포

구글 드라이브에 흩어져 있는 노조 문서를 색인해 자연어로 묻고 근거와 함께 답하는 RAG 검색. 성명·논평·공문은 문서 카드로, 회의는 회의체 → 회차 → 안건 → 원문 순으로 좁혀 본다. 자연어 주문 일부는 산문 답변 대신 표·카드 리포트로 나온다.

접근

아카이브 — 왜 좁혀 보게 만들었나

• 탭은 넷 — 성명·논평 22 · 보도자료(취재요청 포함) 85 · 조직실 공문 305 · 회의자료 114회차. 문서 카탈로그 412건은 docs/archive_catalog.json, 회의는 docs/archive_meetings.json
• 회의자료 114회차를 한 탭에 쏟으면 못 읽는다. 그래서 회의체 버튼 23개로 먼저 좁힌 뒤 회차 → 안건 목차 → 안건 카드 → 그 안건 구간만의 원문으로 들어간다
• 안건을 나누려면 자료집의 안건 머리말 서식을 알아야 하는데, 회의체마다 달라 여덟 갈래로 갈렸다 (안건 3 … · 보고 1. … · <보고 1> … · [안건 1] … · [제N호 의안] … · 표 칸 · 머리말 없음 등). 규칙을 파서에 넣어 안건 단위로 열리는 회차가 41 → 75가 됐다
• 서식을 대등하게 두면 안 된다 — 자료집 앞머리에 전차회의 결과가 통째로 인용되고 그 안에 지난 회의 안건이 같은 꼴로 들어 있다. 서식에 차례를 매기고, 한 쪽에 같은 마커가 둘 이상이면 목차·인용으로 보고 버린다
• 남은 미분류 25회차는 대부분 서식 문제가 아니다 — 교섭 자료 17회차는 애초에 안건체계가 없고, 3회차는 PDF 텍스트 줄 순서가 뒤섞여 보고 1. 전차 회의결과가 세 줄로 흩어진다. hwp만 있고 PDF가 없는 14회차는 회의 위치·이미지가 전부 PDF 좌표 기준이라 캐시를 아예 못 굽는다
• 탭 안 검색은 제목·요약·원문을 함께 뒤진다. LLM을 쓰지 않고 캐시만 본다

RAG 파이프라인

구조화 리포트 G1·G2·G3

• G1 — 단협 조항 비교표. 「단협에서 ○○ 조항 비교해줘」 → 지부별 조항 발췌 표 + 행마다 원문 링크
• G2 — 총괄사업계획 챕터별 집행현황. 챕터 35개(5장 13절 + 실·위원회 17개) 아코디언, 근거가 있는 챕터 34개는 문서·쪽 링크, 없는 1개는 「자료 없음」으로 표기
• G3 — 주제 논의 시계열. 회의 날짜순 카드 + 쟁점 요약 + 근거 발췌·원문 링크
• 주문을 갈라내는 건 규칙 라우터다(services/report_router.py). LLM 의도분류에 같은 성격의 주문 3건을 넣었더니 각각 2~3갈래로 흩어졌고(최다 의도 점유가 G3는 50%), 기존 의도 체계에 report 갈래가 없어 생기는 분산이라 프롬프트로 없앨 성질이 아니었다. 미매칭은 기존 산문 경로로 그대로 흐른다 — 리포트인지 다시 LLM에 묻는 단계는 두지 않는다(일반 질의를 리포트로 끌어올릴 위험만 는다)
• G1·G2는 LLM을 한 번도 쓰지 않는다. 이 표를 읽는 사람은 교섭 근거로 조문을 대조한다 — 바꿔 쓴 문장은 근거가 못 되고 환각 표면과 지연만 늘린다. 발췌는 원문 그대로의 구간이므로 환각 0이 검사 대상이 아니라 구조적으로 성립한다. 부수 효과로 API 키가 없어도 동작해서, 리포트 분기를 LLM 키 검사보다 앞에 두었다
• G3만 LLM을 쓴다. 회의자료는 수백 쪽 책자고 주제가 여러 대목에 흩어져 나와 원문 한 구간으로 답이 안 된다. 회의당 1회만 요약하고, 프롬프트로 "발췌에 없는 사실은 쓰지 마라 · 모르면 그렇게만 답하라"를 못박았다. 근거가 얇은 회의는 실제로 「발췌만으로는 논의 내용을 알 수 없다」를 돌려줬다
• 범위를 안 좁힌 주문은 카드가 552개까지 나온다. 최근 20회만 요약하되 몇 회를 남겼는지 산출물에 적는다 — 조용히 자르면 "전부 요약했다"로 읽힌다. 요약이 없는 카드는 화면에도 그렇게 표시된다
• 속도는 구현 방식이 갈랐다. G1은 54.6초 → 0.48초. 원인은 chunks_fts의 drive_id가 UNINDEXED라 파일별 MATCH가 매번 코퍼스 전체를 훑던 것 — 스코프 전체에 MATCH를 한 번만 돌리고 파이썬에서 접는 것으로 바꿨다. G2도 20.4초 → 0.53초
• 게이트 재측정은 scripts/verify_report_gates.py. 최근 결과 통과 19 · 미통과 0 · 대기 2(사람 검수)

캐시를 미리 굽는다

• 화면·검색은 미리 구운 캐시만 본다. 굽기 전에 공문 탭을 검색해 보니 5분이 지나도 안 끝났다 — 사람이 검색할 때 Drive에서 수백 건을 내려받기 때문이다. 구운 뒤엔 공문 탭 「교섭」 281건이 0.79초
• 무료 구간과 유료 구간을 갈라 둔다. warm_meeting_cache.py·warm_doc_cache.py는 Drive 내려받기와 CPU뿐이라 공짜(문서 390건 1,335초), warm_meeting_summaries.py는 LLM이라 유료다
• 유료 스크립트는 --yes 없이는 견적만 낸다. 실수로 지출이 나가는 경로를 만들지 않는다
• git에는 요약만 들어간다 — 본문·쪽 이미지·내려받은 원본은 다시 만들면 공짜라 제외하고, LLM으로 만든 요약 452건만 추적한다(.gitignore에 archive_cache/** 제외 + summary/** 재포함). 캐시 총량은 수백 MB대
• 요약은 summary/<id>.json으로 id에 붙어 있다. 카탈로그를 다시 구울 때 번호가 밀리면 돈 주고 구운 요약이 딴 문서에 붙는다 — 그래서 기존 문서는 drive_id로 알아보고 id·제목·날짜를 물려받게 했다
• 파서를 고쳐 안건 구획이 바뀌면 이미 구운 요약과 어긋난다. 옛 파서로 원래 구획을 재현해 쪽범위를 대조하는 방식으로 어긋난 21건만 골라 다시 구웠다($0.06). 고아 요약 34건은 안 쓰일 뿐 틀린 내용이 아니라 그대로 뒀다

배포·운영

결정 로그에서 — 되돌리기 힘든 것들

• 전량 재임베딩은 사고에 가깝다. main.py --embed-v2를 --drive-id 없이 돌리면 코퍼스 전체를 지우고 다시 임베딩한다 — 45만 청크 기준 약 $142로 승인 예산의 20배다. 신규 편입은 Chroma에 없는 chunk_id만 고르는 scripts/backfill_missing_embeddings.py를 쓴다
• 재임베딩으로 품질을 올리는 방향은 접었다. 회의 프리픽스를 고쳐 231파일 12,581청크를 43분·$4.02에 다시 임베딩했는데 Recall@20·MRR이 소수점 셋째 자리까지 그대로였다. 측정력은 있었고(정답 청크의 45%가 시범 범위 안) 프리픽스도 의도대로 바뀌었지만 정답 순위를 못 바꿨다. 전체 확대 $44는 측정된 이득이 0이라 접었고, 원복은 벡터를 되돌리는 데 다시 $4.02가 들어 오히려 손해라 그대로 뒀다. 임시/정기 회의 구분은 임베딩이 아니라 메타데이터 필터(무료)로 풀 문제라는 게 결론
• 임베딩 제공자는 gemini 고정. 제공자를 바꾸면 벡터공간이 달라져 코퍼스 45만 청크 전체가 재임베딩 대상이 된다
• 회의록인지 부속문서인지 판정은 LLM에 맡기되 파일당 1회가 아니라 20건 묶음으로 넣었다 — 2,857건이 143회 호출 $0.34로 끝났다(파일당이면 2,857회). 프롬프트에 "애매하면 unknown"을 못박았다. 회의가 아닌 걸 회의로 세우는 쪽이 사용자에게 더 나쁘기 때문이다
• 사무처 공유드라이브 32,853건 백필은 Gemini 일일 쿼터 소진(429)으로 조기중단됐다. 버그가 아니라 안전장치가 정상 동작한 것이고, 처리분은 DB에 남아 있다. 이때 실제 청구액이 추정치의 약 4배로 드러나 견적 방식을 고쳤다
• 자동 검사로는 못 잡는 게 있다. G3 회의 날짜 사람 검수 1차가 26/30으로 미통과했고, 거기서 없는 날짜 위조 · 회의메타가 파일명을 이기던 순서 · 휴지통의 타 조직 자료 혼입 · 유령 회의가 나왔다. 고친 뒤 2차 표본 28/30으로 통과
• 규칙을 자기가 쓴 문항으로 검증하면 구멍이 안 보인다. 리포트 라우터 트리거 문항 20개가 전부 「조항」을 달고 있어 "슬리핑오프를 비교분석해줘" 같은 실사용 표현이 통째로 빠지는 걸 놓쳤다

※ sandbox 허브와 별개로 배포되는 독립 앱입니다. 이 페이지는 명세만 표시합니다. OAuth 크리덴셜(client_secret_*.json·drive_token.json·.env)은 읽거나 출력·커밋하지 않습니다. 요약 굽기·재임베딩 등 유료 구간은 --yes 없이는 견적만 냅니다.