W6 Homework W6 과제 워크북 0 / 100 점
📝 HOMEWORK
WEEK 6

Hybrid RAG 실전
Reranker + 출처 인용

총점 100점 · 필수 60 + 심화 40
🎯 W6 학습 목표 복습

금융 PDF → 청킹 → 임베딩 → Reranker → 출처 인용 답변. 프로덕션 품질 RAG 완성.

🔧 핵심 도구
PDF Extractor
Cohere Reranker
Recall@K 벤치마크
⏱ 예상 시간
필수 4~5시간
심화 +3시간
📊 과제 배점표
과제 1
20
과제 2
20
과제 3
20
과제 4
20
과제 5
20
합계 100점 · 필수 60 + 심화 40
📍 빠른 이동
120pt220pt320pt420pt520pt
🔴 REQUIRED — 과제 1
PDF 리포트 자동 임베딩 파이프라인
배점 20 점

금융 PDF 리포트를 자동으로 청킹 + 임베딩 + Vector DB 저장하는 완전 자동 파이프라인.

필수 요구사항
  • 금융 관련 PDF 3개 이상 준비 (FOMC 의사록, 증권사 리포트 등)
  • Extract From PDF 노드로 페이지별 텍스트 추출
  • Recursive Character Text Splitter: chunk_size=1000, overlap=200
  • metadata 필수 필드: source, page, chunk_id, uploaded_at
  • 처리 완료 후 Discord에 "총 N개 청크 저장됨" 알림

청킹 파라미터 선택 가이드

chunk_size=500   : 정밀 · 맥락 부족 (FAQ용)
chunk_size=1000  : ⭐ 추천 · 대부분 경우
chunk_size=2000  : 맥락 우수 · 검색 정밀도 저하

overlap=200     : 20% · 표준
overlap=100     : 10% · 구조화 문서
overlap=300     : 30% · 중요 정보 많은 문서
PDF 처리 순서 (막혔을 때)
1) PDF 바이너리 로드 (HTTP 또는 수동 업로드)
2) Extract From PDF → 페이지별 텍스트
3) Code 노드에서 페이지 메타데이터 부여
4) Recursive Character Text Splitter (chunk_size=1000, overlap=200)
5) OpenAI Embeddings → Supabase Vector Store Insert
채점 기준 (20점 만점)
A. PDF 3개 처리 완료5점
B. 청킹 파라미터 근거4점
C. metadata 풍부함5점
D. Vector DB 정상 저장3점
E. 처리 통계 (총 청크 수) 확인3점
🔴 REQUIRED — 과제 2
Cohere Reranker 통합 + 품질 정량 비교
배점 20 점

Vector 검색만 vs Vector + Reranker의 품질 차이를 수치로 증명.

필수 요구사항
  • Cohere API Key 발급 (Trial 무료 1000회)
  • Vector Store Retrieve Tool + Reranker Cohere 서브노드 연결
  • 동일한 질문 5개로 Vector만 Top 3 / Vector+Rerank Top 3 각각 실행
  • 수동 채점: 각 결과의 관련도를 3점 척도(매우 적합/보통/부적합)
  • Rerank 개선율(%p) 리포트 작성
채점 기준 (20점 만점)
A. Reranker 연결 설정4점
B. 비교 실험 설계 엄밀성5점
C. 5개 질문 다양성3점
D. 수동 채점 객관성4점
E. 개선율 수치 리포트4점
🔴 REQUIRED — 과제 3
출처 인용 Q&A 챗봇
배점 20 점

Vector DB 내용을 Claude가 읽고 출처 파일명 + 페이지까지 정확히 인용하며 답변하는 챗봇.

필수 요구사항
  • AI Agent with Tools + Vector Store Retrieve Tool 연결
  • 부록 D의 "Hybrid RAG 출처 인용" 프롬프트 활용
  • 답변에 (출처 1: FOMC_202503.pdf p.4) 형식 인용 필수
  • 출처에 없는 정보는 "제공된 자료에는 해당 정보가 없습니다"라고 답변
  • 환각 테스트: 지식 밖 질문 3개로 정직한 답변 검증
채점 기준 (20점 만점)
A. 출처 인용 형식 정확성6점
B. 환각 방지 테스트 통과5점
C. 프롬프트 설계 품질4점
D. 답변 길이·가독성3점
E. 로그 기록2점
🟣 ADVANCED — 과제 4
RAG 정량 평가 — Recall@3 측정
배점 20 점

"이 RAG가 얼마나 정확한가?"를 정량 측정하는 벤치마크 파이프라인.

필수 요구사항
  • 테스트 세트 구축: 질문 10개 + 정답 문서 ID 수동 라벨링
  • Recall@3 계산 함수 작성 (Code 노드)
  • Vector만 vs Hybrid (Vector+Rerank) 비교 측정
  • 실패 케이스 분석: 어떤 질문 패턴이 취약한지
  • 개선 아이디어 3개 제시 (chunk size 조정 / 메타 필터 / 쿼리 확장 등)

Recall@K 공식

Recall@K = (Top-K 안에 정답이 있는 질문 수) / (전체 질문 수)

예) 10개 질문 중 Top-3 안에 정답이 7개 포함 → Recall@3 = 70%

목표:
  기본 RAG: 40~60%
  + Reranker: 70~85%
  + 계층 청킹: 85~91% (부록 B 참조)
🎓 벤치마크 학습 목표: 높은 점수 달성이 아니라 "측정 방법론 습득". 낮은 점수도 정직하게 보고 + 원인 분석 + 개선안이면 만점.
채점 기준 (20점 만점)
A. 테스트 세트 품질5점
B. Recall 측정 정확성5점
C. Vector vs Hybrid 비교4점
D. 실패 케이스 분석3점
E. 개선안 구체성3점
🟣 ADVANCED — 과제 5
나만의 투자 리서치 어시스턴트
배점 20 점

본인 투자 메모·관심 리포트·공부 노트를 Vector DB에 축적하고 대화형으로 활용하는 개인 RAG.

필수 요구사항
  • 본인의 실제 문서 20개 이상 임베딩 (메모·PDF·노트 혼합)
  • 카테고리별 metadata 태그 (stock_analysis / macro_research / personal_memo 등)
  • Discord Webhook으로 자유 질문 수신 → 답변 + 출처 발송
  • 답변이 참고한 청크 원문도 함께 표시 (Show Source 기능)
  • 1주 이상 실사용 로그
채점 기준 (20점 만점)
A. 문서 20개 이상 축적4점
B. 카테고리 체계 설계4점
C. Discord 인터랙션 구현4점
D. 답변 품질·사용성5점
E. 실사용 로그 풍부함3점
Submit

📤 제출 방법 + 기한

⏰ 제출 기한: 다음 주 수업 시작 전까지. 지연 시 하루당 -2점.
📝 W6 HOMEWORK COMPLETE
PDF RAG · Reranker · Recall@K 평가
5 tasks · 100 pt · 4~8 hours