Hybrid RAG + 출처 인용 Q&A 시스템

이번 주 학습 목표

왜 단순 Vector 검색으론 부족한가

W5에서 만든 기본 Vector 검색은 의미 유사도만 사용합니다. 질문과 비슷한 뜻의 청크를 찾아옵니다. 하지만 금융 도메인에는 정확한 용어·숫자·고유명사가 중요합니다. "BBB-등급", "연준 점도표", "S&P 500"처럼 정확한 키워드를 찾아야 할 때가 많습니다.

Hybrid RAG의 3단계 파이프라인

1교시 — Google Drive PDF 자동 임베딩 파이프라인

수업 시작 전에 수십 개 PDF를 하나씩 수동 업로드하면 시간 낭비입니다. Google Drive 폴더에 PDF를 넣으면 자동으로 임베딩되는 파이프라인을 만듭니다.

준비 — 지식 베이스 폴더 구성

전체 파이프라인

핵심 노드 — Extract From File

메타데이터 Code 노드

청크마다 파일명·페이지 번호·카테고리를 붙여야 나중에 "FOMC_202503.pdf 4페이지"처럼 출처 인용할 수 있습니다.

// PDF 추출 결과에 메타데이터 붙이기
const pdfData = $input.item.json;
const fileName = $('Google Drive').item.json.name;
const fileId = $('Google Drive').item.json.id;
const folderName = $('Google Drive').item.json.parents?.[0] || 'unknown';

// 카테고리 판단 (폴더명 기반)
let category = 'general';
if (fileName.toLowerCase().includes('fomc')) category = 'fomc';
else if (fileName.toLowerCase().includes('report')) category = 'report';
else if (fileName.toLowerCase().includes('earnings')) category = 'earnings';

// 페이지별 텍스트를 LangChain 문서 형식으로
const pages = pdfData.text.split('\f');  // form feed로 페이지 분리
const documents = [];
for (let i = 0; i < pages.length; i++) {
  if (pages[i].trim().length < 50) continue;  // 너무 짧은 페이지 제외
  documents.push({
    pageContent: pages[i].trim(),
    metadata: {
      source: fileName,
      file_id: fileId,
      page: i + 1,
      category: category,
      uploaded_at: new Date().toISOString()
    }
  });
}

return { documents: documents, total_pages: documents.length };

Vector Store Insert 구성

비용 계산 — 실무 참고용

2교시 — Cohere Reranker 연결

Cohere API 키 발급

n8n Reranker Cohere 노드 (공식)

n8n 1.98+ 버전부터 Cohere Reranker가 공식 sub-node로 지원됩니다. Vector Store 노드의 "Rerank results" 토글을 켜면 연결 포트가 생깁니다.

Retrieve 노드 구성

Reranker 전/후 비교 (실측)

※ 동일 지식 베이스 기준 자체 측정. 문서 유형에 따라 달라질 수 있음.

3교시 — AI Agent + Vector Store as Tool 패턴

이번이 이번 과정에서 가장 "에이전트스러운" 순간입니다. 지금까지 Vector Store는 단순 검색이었지만, 이제 AI Agent가 필요할 때만 Vector를 호출하도록 만듭니다.

AI Agent + Tool 아키텍처

Vector Store를 "Tool"로 설정

Vector Store 노드의 Operation Mode를 Retrieve Documents (as Tool for AI Agent)로 설정하면 자동으로 툴로 노출됩니다.

Tool Description — 에이전트 의사결정의 핵심

Claude는 이 description을 읽고 툴 호출 여부를 결정합니다. 구체적으로 어떤 질문에 유용한지 명시해야 합니다.

AI Agent System Message — 출처 인용 강제

에이전트가 반드시 출처를 인용하도록 System Message에 명시합니다.

4교시 — Discord 슬래시 커맨드 /ask 통합

최종 목표: Discord에서 /ask FOMC 3월 점도표 알려줘 입력 → Claude가 지식 베이스 검색 → 출처와 함께 답변.

Discord Bot 슬래시 커맨드 설정

Webhook으로는 슬래시 커맨드 처리 한계가 있으므로 Discord Bot + Interactions Endpoint 방식을 사용합니다.

슬래시 커맨드 등록

Discord API로 /ask 커맨드를 먼저 등록해야 서버에 표시됩니다. n8n 내 1회성 Manual 실행 워크플로로 해결.

// /ask 커맨드 등록 (HTTP Request 노드 1회 실행)
// Method: POST
// URL: https://discord.com/api/v10/applications/{APP_ID}/guilds/{GUILD_ID}/commands
// Header: Authorization: Bot {BOT_TOKEN}
// Body (JSON):
{
  "name": "ask",
  "description": "투자 지식 베이스에 질문",
  "options": [
    {
      "name": "question",
      "description": "질문 내용",
      "type": 3,
      "required": true
    }
  ]
}

최종 답변 포맷 예시

Discord 응답 포맷팅 Code

에이전트가 반환한 답변 + 출처 목록을 Discord 메시지로 예쁘게 포매팅.

// Claude 응답 + 출처를 Discord 메시지로 포매팅
const agentResponse = $input.item.json.output;
const toolResults = $input.item.json.intermediateSteps || [];

// 툴 호출 결과에서 출처 수집
const sources = [];
for (let i = 0; i < toolResults.length; i++) {
  const observation = toolResults[i].observation || [];
  for (let j = 0; j < observation.length; j++) {
    const doc = observation[j];
    if (doc.metadata) {
      sources.push({
        file: doc.metadata.source,
        page: doc.metadata.page,
        category: doc.metadata.category
      });
    }
  }
}

// 중복 제거
const uniqueSources = [];
const seen = new Set();
for (let i = 0; i < sources.length; i++) {
  const key = sources[i].file + ':' + sources[i].page;
  if (!seen.has(key)) {
    seen.add(key);
    uniqueSources.push(sources[i]);
  }
}

// Discord 메시지 조립
let sourceList = '';
for (let i = 0; i < uniqueSources.length; i++) {
  const s = uniqueSources[i];
  sourceList += `• \`${s.file}\` (p.${s.page})\n`;
}

const message = `💡 **답변**\n${agentResponse}\n\n📚 **참고 출처**\n${sourceList || '(지식 베이스 사용 안 함)'}\n\n_교육 목적 분석_`;

return { content: message };

실행 테스트와 디버깅

이번 주 완료 체크리스트

이번 주 과제

참고 자료