Hybrid RAG 실전

이번 주 목표 — 정확도 끌어올리기

W5의 단순 벡터 검색은 의미는 비슷하지만 정확한 숫자/날짜를 놓치는 약점이 있습니다. W6에서는:

• 관심종목 사업보고서 PDF를 청크 단위로 임베딩
• 벡터 검색 + 키워드(BM25) 검색을 하이브리드로 결합
• Cohere Rerank로 top-20 → top-5 재순위화
• 답변에 반드시 출처 [종목·문서·페이지] 인용

왜 하이브리드가 필요한가

워크플로우 흐름 (질의)

Supabase 테이블 (W5 확장)

create table disclosures (
  id bigserial primary key,
  ticker text not null,
  doc_type text,           -- '사업보고서'|'분기'|'주요공시'
  doc_year int,
  page int,
  section text,
  content text,
  embedding vector(1536),
  fts tsvector              -- 한국어 BM25용
);

-- 인덱스
create index on disclosures using ivfflat (embedding vector_cosine_ops);
create index on disclosures using gin (fts);

-- Trigger로 fts 자동 생성
create function disclosures_fts_trigger() returns trigger as $$
begin
  new.fts := to_tsvector('simple', new.content);
  return new;
end $$ language plpgsql;

create trigger disclosures_fts_update before insert or update
on disclosures for each row execute function disclosures_fts_trigger();

Cohere Rerank 호출

POST https://api.cohere.com/v1/rerank
Authorization: Bearer {COHERE_KEY}
{
  "model": "rerank-multilingual-v3.0",
  "query": "{{사용자 질문}}",
  "documents": [
    "{{청크 본문 1}}", "{{청크 본문 2}}", ...
  ],
  "top_n": 5,
  "return_documents": true
}

인용 강제 프롬프트

너는 IR 자료 분석가다. 아래 검색 결과만으로 답변하고, 반드시 출처를 인용하라.

질문: {{사용자 질문}}

검색 결과 (top 5, 신뢰도 순):
[1] {ticker} {doc_type} p.{page}: {content}
[2] ...

응답 규칙:
- 검색 결과에 명시된 사실만 사용. 외부 지식 금지.
- 모든 주장에 [숫자] 형식 출처 인용.
- 검색 결과로 답할 수 없으면 "근거 부족" 명시.

답변:

🟢 과제 5개

Qdrant Native Hybrid + 금융 응용 실습

본 주차 본편은 Supabase pgvector + ts_rank로 hybrid를 구현했지만, Qdrant 1.10+는 동일한 흐름을 한 번의 API 호출로 끝내는 native hybrid를 제공합니다. 사업보고서·공시· 애널리스트 리포트 검색에 그대로 적용해봅시다.

1. Supabase 방식 vs Qdrant Native 비교

2. Named Vectors — 하나의 컬렉션, 두 개의 벡터

collection: "invest_disclosures"
  named vectors:
    - name: "dense"
      size: 1536
      distance: Cosine          # OpenAI text-embedding-3-small
    - name: "sparse"
      modifier: idf              # BM25 내장 IDF
      # sparse vector indices/values 형식
  payload:
    - ticker, doc_type, doc_year, page, section, content

임베딩 단계에서 한 청크당 dense + sparse 두 벡터를 동시에 저장. 검색은 둘을 한 호출로.

3. n8n 워크플로우 흐름

(A) 임베딩 (PDF 업로드 시 1회)

(B) 검색 (질의)

4. Qdrant Hybrid Query API (한 번의 호출)

컬렉션 생성

PUT https://YOUR-CLUSTER.qdrant.tech/collections/invest_disclosures
{
  "vectors": {
    "dense": { "size": 1536, "distance": "Cosine" }
  },
  "sparse_vectors": {
    "sparse": { "modifier": "idf" }
  }
}

임베딩 upsert

PUT /collections/invest_disclosures/points
{
  "points": [{
    "id": 1,
    "vector": {
      "dense":  [0.12, -0.05, ...1536개],
      "sparse": { "indices": [42, 1024, ...], "values": [0.7, 0.3, ...] }
    },
    "payload": {
      "ticker": "005930",
      "doc_type": "사업보고서", "doc_year": 2024, "page": 187,
      "section": "연구개발 활동", "content": "..."
    }
  }]
}

Hybrid Search (RRF 한 번에)

POST /collections/invest_disclosures/points/query
{
  "prefetch": [
    { "query": [0.12, -0.05, ...], "using": "dense",  "limit": 20 },
    { "query": {"indices":[...], "values":[...]}, "using": "sparse", "limit": 20 }
  ],
  "query": { "fusion": "rrf" },
  "limit": 5,
  "with_payload": true,
  "filter": { "must": [{"key": "ticker", "match": {"value": "005930"}}] }
}

응답은 두 검색의 RRF 결합 top-5. "fusion": "dbsf"로 distribution-based score fusion도 선택 가능.

5. 어떤 질문에 어느 쪽이 강한가

💎 보너스 과제 5개

도움 자료

• Qdrant Cloud — cloud.qdrant.io (무료 1GB)
• Qdrant Hybrid Docs — qdrant.tech/documentation/concepts/hybrid-queries
• FastEmbed — github.com/qdrant/fastembed (BM25 sparse 모델 내장)
• n8n Qdrant 노드 — Vector Store 카테고리에 native 노드 (1.50+) 또는 HTTP Request로 직접
• 실습 자료 — 본 폴더의 W6_BONUS_qdrant_hybrid.json + W6_BONUS_샘플질의.xlsx