Vector Database 벡터 DB

 

벡터 DB 란 

벡터 DB 정의 및 역할 

• 임베딩된 고차원 벡터 데이터(임베딩 모델의 아웃풋) 를 저장하고 효율적으로 검색할 수 있게 도와주는 데이터 베이스.
• 데이터 포인트(데이터 집합 안에 포함된 하나의 관측치/항목): 숫자 배열인 “벡터”
• 벡터의 유사성을 기반으로 클러스터링됨. → 지연시간이 짧은 쿼리를 지원하기 때문에 AI 애플리케이션에 이상적.
• 사실상 모든 데이터 유형에 대한 의미론적 의미, 특징을 기반으로 함께 그룹화되거나 반대되는 것으로 식별됨.
• 벡터 데이터베이스는 RAG 구현을 지원하는 데 핵심적인 역할을 함.

 

벡터와 텐서

Vector

• 텐서의 하위 집합
• 여러 스칼라를 포함하는 1차원 혹은 1차 텐서. → 숫자 모음.
• ex) 날씨모델은 하루동안의 최저온도, 최고온도, 평균온도를 벡터로 구성 가능
• 각 스칼라는 벡터의 특징이 됨. 즉 “차원”으로 그날날씨(벡터) 의 특징을 나타냄.

Tensor

• 정의(수학/ML): 텐서는 “다차원 배열”을 일반화한 개념.
• 차원에 따라 이름이 달라짐
  • 스칼라(Scalar): 0차원 텐서 → 단일 숫자 (예: 7)
  • 벡터(Vector): 1차원 텐서 → 숫자들의 리스트 (예: [1, 2, 3])
  • 행렬(Matrix): 2차원 텐서 → 행과 열을 가진 숫자 배열 (예: [[1, 2], [3, 4]])
  • 3차원 이상 텐서: (예: 이미지 RGB 채널을 담은 3D 배열, [height × width × channel])

 

벡터 DB 주요 기능 

1. 벡터 스토리지 기능

벡터 DB 에 저장되는 내용

• 벡터 임베딩 데이터, 제목, 설명 및 데이터 유형을 포함한 각 데이터의 메타 데이터 (메타 데이터 필터를 사용해 쿼리처리 가능)

2. 벡터 인덱싱 기능 (벡터 전용)

인덱스: 벡터(고차원 좌표)의 유사도를 빠르게 계산하기 위해 만든 특수 자료구조.

• 고차원 데이터 공간 내에서 검색 속도를 높이기 위해서는 벡터 인덱싱을 해야함.
• 벡터 DB 는 검색 기능을 위해 벡터 임베딩에 “인덱스” 생성함.
• ML 알고리즘 사용해 벡터를 인덱싱함.
• 인덱싱: 벡터를 새로운 data 구조에 매핑 → 유사성/거리검색을 더 빠르게 함.

인덱싱 알고리즘

• HNSW (계층적 탐색 가능한 작은 세계) : 트리 구조. 각 노드에는 각 노드의 계층이 있는 벡터 집합이 표시됨. 벡터 간의 유사성은 노드 사이의 가장자리에 표시됨.
• LSH (k최근접 이웃검색을 사용해 콘텐츠 인덱싱): k최근접 이웃 검색을 사용해 인덱싱, 속도를 높이려면 대략적인 결과를 반환해 인덱스 최적화 가능하지만 완전하지 x
• PQ (각 데이터 세트를 짧고 메모리효율적인 표현으로 변환): 모든 벡터가 아닌 짧은 표현만 저장.

3. 질의 또는 프롬프트 기반 유사성 검색

• 쿼리(Query) = 사용자가 AI 모델에 주는 입력 (질문, 요청, 프롬프트)
• 쿼리 벡터(Query Vector) = 그 입력을 임베딩 모델이 벡터(숫자 배열) 로 변환한 결과

→ 이후 DB 는 쿼리 벡터와 인덱스에 저장된 벡터 사이의 거리를 계산하여 유사한 결과를 반환함.

⇒ 추천 시스템, 시맨틱 검색, 이미지 인식 및 기타 자연어 처리 작업과 같은 다양한 머신 러닝 작업을 지원

 

벡터 DB 의 장점.

• 속도 및 성능 : 인덱싱 기술을 사용한 빠른 검색. 수만개의 데이터 포인트 있는 대규모 데이터세트에서 관련 결과 검색 시 성능 최적화에 도움.
• 확장성 : 추가 노드에 따라 수평적으로 확장하여 방대한 양의 비정형 데이터를 저장하고 관리할 수 있음. 쿼리 수요와 데이터 볼륨이 증가하더라도 성능을 유지할 수 있음.
• 소유 비용 절감 : 더 빠른 데이터 검색을 가능하게 하기 때문에 파운데이션 모델(이미 대규모인 범용 모델) 의 학습 속도를 높임.
  • 벡터 DB에 임베딩을 미리 저장해두면 → 유사한 데이터 검색을 수 ms~수백 ms 내에 끝낼 수 있음 = GPU 사용 시간 줄어들음.
  • 학습: 서비스에 사용되는 대규모 ai 모델을 실제 태스크에 적용·적응시키는 속도가 빨라진다
• 데이터 관리 : 벡터 데이터베이스는 일반적으로 새로운 비정형 데이터를 쉽게 업데이트하고 삽입할 수 있는 기능을 기본으로 제공
• 유연성 : 이미지, 동영상 또는 기타 다차원 데이터를 사용할 때 추가되는 복잡성을 처리함.

 

기존 DB 와의 비교

• 행과 열이 존재하는 기존 관계형 데이터와 달리, 데이터 포인트는 고정된 개수의 차원을 가진 벡터로 표현됨.
• 관계형 데이터 베이스 : 행 row 과 열 column 의 2차원 형식으로 데이터를 표현함. 
• NoSQL (not sql only) :  기존 관계형 DB 보다 데이터 저장 방식 다양 (문서 기반, 키값기반, 열기반 등) / 트랜젝션 처리, 데이터 일관성 보장 상대적으로 약함. 
• 벡터 공간에서 데이터를 다루며 각 데이터는 고차원 벡터로 표현됨. (3차원 이상공간)
• 쿼리 방식 : 벡터 유사도를 기반으로 검색 = 임베딩된 쿼리를 가지고 유사도 검색함. 즉, 자연어 처리, 이미지 검색 등 복잡한 작업에 유리. 

기존검색 ⇒ 키워드, 태그 또는 메타데이터와 같은 개별 토큰 기능 활용해 정확히 일치하는 항목 결과로 반환.

벡터 검색 ⇒ 데이터를 고밀도 벡터로 표현해 (연속 벡터 공간) 유사성 검색 가능. 잠재적 특징 및 측면 검색 가능 (*잠재적 특징: 직접적으로 관찰되지 않으나 수학적 모델이나 알고리즘 통해 데이터에서 추론되는 기본적인 특성이나 속성)

 

 

벡터 DB, 3줄 요약

1. 정의: AI를 위한 데이터베이스. 텍스트, 이미지 등 모든 데이터의 '의미'를 숫자 좌표(벡터)로 저장.
2. 역할: 내 질문과 '의미가 가장 가까운' 데이터를 초고속으로 검색 (RAG의 핵심 엔진).
3. 선택: 프로젝트 상황에 맞춰 독립형, 확장형, 클라우드형 등 다양한 옵션 중 선택 가능.

 

벡터 DB 와 검색 증강 생성 (RAG) 

• 대규모 언어 모델(LLM)이 외부 지식 기반에서 팩트를 검색할 수 있도록 하는 AI 프레임워크
• RAG는 모델이 신뢰할 수 있는 최신 팩트에 연결되고 사용자가 모델의 소스에 액세스하여 주장을 확인할 수 있도록 지원
• RAG는 고차원 벡터 데이터를 사용하여 파운데이션 모델에 의한 컨텍스트 내 학습을 위해 의미적으로 관련성이 높은 정보로 프롬프트를 강화

 

벡터 DB 선정 시 고려 사항 

1. 벡터 DB 유형

1) 독립형 벡터 DB (Standalone Vector DB)

벡터 검색을 위해 처음부터 설계된 '벡터 전용' 데이터베이스입니다. 벡터 검색에 최적화된 다양한 고급 기능을 제공하는 경우가 많습니다.

• 오픈소스: Weaviate, Milvus, Qdrant, Chroma
• 독점/관리형 서비스: Pinecone

2) 확장형 기존 DB (Extended Traditional DB)

기존에 널리 쓰이던 데이터베이스에 벡터 검색 기능을 '플러그인'이나 '확장' 형태로 추가한 것입니다.

• A) 관계형 데이터베이스(RDB) 확장: 기존 RDB 인프라를 그대로 활용할 수 있는 장점이 있습니다.
  • 예시: PostgreSQL + pgvector 확장, MariaDB (자체 내장)
• B) 검색 엔진 확장: 전통적인 키워드 검색과 벡터 기반 의미 검색을 결합한 '하이브리드 검색'에 매우 강력합니다.
  • 예시: Elasticsearch, OpenSearch

3) 경량 / 파일 기반 라이브러리 (Lightweight / File-based Library)

별도의 서버 없이, 코드에 직접 포함하여 사용하는 가벼운 벡터 검색 '도구'입니다. 빠른 프로토타이핑이나 소규모 애플리케이션에 적합합니다.

• 예시: FAISS

4) 통합 데이터 플랫폼 (Integrated Data Platform) 

데이터 레이크하우스처럼, 기업의 모든 데이터를 관리하는 거대한 플랫폼에 벡터 검색 기능이 '내장 기능'으로 포함된 형태입니다.

• 예시: IBM watsonx.data, Databricks Vector Search, Snowflake Cortex

 

 

2. 프로젝트 요구사항 

- 사용 가능한 하드웨어 자원  

- 비용 

- 관리 용이성: 개발 편리 해야함. 

- 가벼워야 함. -> 실시간 음성 대화 챗봇 서비스에 맞아야 함. 

- 챗봇 서비스에서 "대화" 데이터는 서비스 기능(삭제, 복구, 목록/검색, 감사, 권한)에 직접 쓰이므로 관계형 DB 에 원본 저장 필수. 

- Chroma 등 벡터 DB 에도 documents 섹션에 원본 저장하는 기능이 있지만, 운영단계의 데이터 거버넌스, 권한, 감사, 리포팅을 강하게 보장하지 못함. 

- RDB + Vector DB 사용하기. 

 

3. 성능

- 검색 속도 

- 처리량

- 검색 정확도 

- 인덱싱 속도 

 

벡터 DB 목록 

무료 DB 벡터 중 가장 언급이 많은 DB 들을 가져옴. 

앞서 선택했던 AI 모델과 다르게 사람들이 오랫동안 사용하며 안정성이 '검증'된 기술을 선택하는 것이 훨씬 더 중요

벡터 DB	1024 차원 지원	무료 사용 가능 여부	비고
Pinecone	✅	⚠️ (제한적)	무료 'Starter' 플랜이 있지만, 용량/기능에 상당한 제한이 있습니다.
Weaviate	✅	✅	오픈소스. 직접 서버에 설치하여 무료로 사용 가능.
Milvus ✅	✅	✅	오픈소스. 직접 서버에 설치하여 무료로 사용 가능.
Qdrant	✅	✅	오픈소스. 직접 서버에 설치하여 무료로 사용 가능.
Chroma ✅	✅	✅	오픈소스. 직접 서버에 설치하거나, 파일 기반 도 가능. LangChain과의 통합이 매우 잘 되어 있어
PostgreSQL + pgvector ✅	✅	✅	PostgreSQL과 pgvector 모두 오픈소스.
MariaDB	✅	✅	MariaDB Community Server는 오픈소스.

 

현재로서는 PostgreSQL + pgvector ✅ 가 

운영 데이터(RDB) 와 의미 검색(벡터) 를 모두 처리할 수 있어서,

초기/중소 규모 서비스의 비용·관리·개발 편의성 측면에서 가장 좋은 선택이라고 생각됨. 

 

 

 

참고 

10화 벡터 DB는 기존의 데이터베이스와 어떻게 다를까?

 

 

Chroma Docs