RAG 구축을 위한 한국어 임베딩 모델 선정하기

 

1. 임베딩 (Embedding) 이란 

• 단어, 문장, 이미지 등 사람이 사용하는 복잡한 데이터를 기계가 이해할 수 있는 숫자 벡터로 변환하는 과정 또는 그 결과물
• 데이터를 임베딩 생성 모델에 입력하면 일정 수의 실수로 구성된 벡터 출력됨. 
• 사람이 직접 관찰, 의미 파악하기는 어렵지만 컴퓨터는 “임베딩” 간의 거리를 계산하여 “의미적인 관계” 이해 가능. 
• 사실상 모든 유형의 데이터에 대한 시멘틱 정보를 인코딩해서 고차원 벡터로 나타내는 것. 

 

2. 임베딩의 역할 

• 단어, 문장 간 의미 관련도 계산
• 서로 다른 단어와 범주 간의 관계를 이해
• 의미적, 문법적 정보 함축 → 벡터값이기 때문에 사칙연산으로 단어들 사이의 의미, 문법적 관계 도출 가능.

 

3. 임베딩 작동 방식 

• 대부분의 머신러닝 알고리즘의 입력 값 : 저차원의 숫자 데이터 
• 따라서 데이터를 숫자로 표현해야 한다. 
• 임베딩 모델에 객체 입력  → 벡터(숫자의 배열)로 표현되는 임베딩으로 출력됨. 
• 각 숫자는 차원을 따라 객체가 있는 위치를 나타냄 
• 입력 데이터의 복잡성⬆, 차원의 수 ⬆ (수백 수천개 이상 가능) 
• 임베딩 값들은 해당 n차원 공간에서 서로 가까울수록 의미적으로 유사함 
• 유사성 판단 : 벡터 점의 길이로 판단 (유클리드, 코사인 등으로 측정) 
• 차원 축소: 고차원데이터를 효율적으로 임베딩하기 위해 고차원 데이터에서 관련 없거나 중복되는 정보는 저차원 공간으로 압축함. 자주 쓰임. (ex. 오토 인코더, 컨볼루션, 주성분 분석 및 T-분산 확률적 이웃 임베딩 등 ) 

예시

 “dad"=[0.1548,0.4848,…,1.864] 

 “mom"=[0.8785,0.8974,…,2.794] 

 

 

4. 임베딩 활용 

- 클러스터링 

- 비교

- 분류 등의 작업 효과적으로 수행 가능 

 

사용 사례 예시 상황 : 추천 알고리즘 구현 방법 

• 모든 사용자의 항목 (영화, 제품 등) 을 연속 벡터 공간, 즉 잠재 공간에서 고차원 벡터로 표현한 뒤 임베딩의 점곱을 해당 항목에 대한 "사용자의 선호도"와 연관되는 방식으로 각 사용자 및 항목에 대한 표현을 학습함. 
• 추천 시에는 해당 사용자의 벡터와 아직 상호작용하지 않은 아이템들의 벡터를 각각 내적하여, 계산된 선호도 예측 점수가 가장 높은 아이템들을 제시함. 

*점곱: 내적, 두 벡터에서 하나의 스칼라값을 얻는 연산 

 

 

5. 임베딩을 사용하는 이유 

고차원 및 범주형 데이터를 연속 벡터로 표현하고 의미 있는 패턴, 관계, 의미론 포착 가능하기 때문에 다양한 도메인 및 애플리케이션에서 사용되는 추세.

 

1) 의미론적 표현: 의미 관계 및 유사성 포착으로 모델이 더 잘 이해하고 일반화할 수 있게 도와줌 

2) 차원 축소: : 고차원 데이터 (이미지, 텍스트, 그래프 등) 를 저차원 표현으로 변환 가능 

3) 모델 일반화: 의미 있는 표현 학습 덕분에 새로운 예시도 일반화 가능. 

4) 신경망의 효율적인 학습: 일반적으로 신경망 아키텍쳐에서 범주형 입력을 연속 벡터에 매핑해 역전파 및 최적화 촉진 

 

 

임베딩 최신 기술 동향 참고 (2025년 9월 기준) 

주요 키워드 : 멀티모달 임베딩, 장문 컨텍스트 혁명 

LLM 임베딩 모델

 

 

6. 임베딩 모델 종류 

• Google, OpenAI, Cohere와 같은 거대 기업들이 제공하는 대규모 API 기반의 독점 모델 → 유료
• Qwen, NVIDIA, Nomic, BAAI 등이 주도하는 오픈소스 모델 → 무료

임베딩 모델의 종류를 알아보자. 

우선 종류를 알아보려고 검색해보니 구조기반 분류(인코더/디코더), 라이선스 기반 분류, 객체 타입 기반 분류(단어/문맥/문장/오디오/이미지 등) 분류 등등 분류 기준이 매우 다양했다.

우리는 RAG 기반 LLM 구축이 목표이기 때문에 모든 분류기준에 얽매일 필요는 없다. 

또한 프로젝트 특성상 제약 사항들이 몇가지 있기 때문에 함께 고려하여 모델을 선정할 것이다. 

 

단어 임베딩 VS 문장 또는 문서 임베딩 

단어 임베딩(word embedding): 단어들의 의미, 문법적 속성, 그리고 다른 단어들과의 관계를 밀집된 벡터로 표현하는 방법 . 

각 단어에 대해 고정된 벡터를 생성한다. 

주요 목표는 의미 체계 관계와 문맥 정보를 캡처하는 방식으로 단어를 표현하는 것임. 단어 각각의 의미는 알지만, 문장 전체의 문맥적 의미를 하나의 벡터로 표현하지 못함. 

ex) Word2Vec, GloVe, FastText

 

문장/문맥 임베딩(contextual word embedding) : 문장 내에서 단어의 의미를 그 주변 맥락을 통해 캡처하는 방식. 단어 임베딩과 다르게 문맥에 따라 각 단어에 대한 다른 벡터를 생성한다. 문장이나 문단 전체의 의미를 하나의 벡터로 압축함. 더 정확한 의미 반영이 가능하다. 

ex) BERT 계열 

 

인코더 기반 VS 디코더 기반 

현대의 임베딩 모델들은 트랜스포머 모델 구조 (encoder-decoder) 에 기반하였다. 

= 인코더는 입력 데이터를 받아들여 중요 정보를 압축한 고차원 벡터로 변환하며, 디코더에서는 이를 기반으로 최종 출력 생성. 

ex) 인코더 기반 모델 BERT, 디코더 기반 모델 GPT

 

인코더기반 임베딩 모델: 문장 전체의 문맥을 "양방향" 으로 읽고, 그 의미를 하나하나 벡터로 압축(요약) 하는 것에 최적화 됨. 

주요활동: 임베딩 생성, 텍스트 분류, 질문-응답, 감정 분석 등.

ex) BERT 등 

 

디코더 기반 임베딩 모델: 기본적인 역할은 다음에 올 단어를 예측하여 텍스트를 생성하는 것. 다음 단어를 잘 예측한다는 것은 앞선 텍스트의 문맥을 잘 이해한다는 뜻이며 이에 의미 벡터를 뽑아내는 역할도 함. 

ex) GPT, OpenAI의 text-embedding-ada-002 등. 

 

데이터 종류에 따른 임베딩 모델 분류 

1. 텍스트 임베딩 (Text Embedding)

• 지금까지 우리가 이야기했던 분야입니다. 단어, 문장, 문서 같은 자연어를 벡터로 변환합니다.
• 목표: 의미적, 문맥적 유사성을 벡터 공간의 거리로 표현합니다.
• 주요 모델: Word2Vec, GloVe, BERT, RoBERTa, GPT 등

2. 이미지 임베딩 (Image Embedding)

• 이미지나 사진을 벡터로 변환합니다.
• 목표: 이미지의 시각적 특징(객체, 색상, 스타일 등)을 포착하여, 비슷한 이미지는 벡터 공간에서 가깝게 위치시킵니다.
• 활용: '이미지로 이미지 검색', 비슷한 상품 추천, 이미지 분류 등에 사용됩니다.
• 주요 모델: ResNet, VGG, Vision Transformer (ViT) 등

3. 오디오 임베딩 (Audio Embedding)

• 음악, 음성 같은 소리 데이터를 벡터로 변환합니다.
• 목표: 소리의 특징(음색, 리듬, 멜로디, 화자의 목소리 톤 등)을 벡터로 표현합니다.
• 활용: 비슷한 분위기의 음악 추천, 음성 인식, 화자 식별 등에 사용됩니다.
• 주요 모델: VGGish, SoundNet, Wav2Vec 등

4. 그래프 임베딩 (Graph Embedding)

• 소셜 네트워크, 분자 구조처럼 노드(점)와 엣지(선)로 연결된 관계형 데이터를 벡터로 변환합니다.
• 목표: 네트워크 내에서 각 노드의 관계적, 구조적 역할을 벡터로 표현합니다.
• 활용: 소셜 미디어 친구 추천, 단백질 상호작용 예측, 신약 개발 등에 사용됩니다.
• 주요 모델: Node2Vec, DeepWalk 등

 

7. 임베딩 모델 선정 시 고려 해야 하는 부분 및 후보 모델 목록 

먼저 우리팀의 요구사항 목록이다. 

아래 3가지는 기본적으로 충족되어야 하는 조건들이다. 우리의 임베딩 모델 사용 목적은 RAG 기반 LLM 구축에 있기 때문에 RAG 을 만들 때에 최고의 성능을 낼 수 있는 모델을 찾고자 했다. 

이후 아래 네개는 (4가지) 사용가능 한 모델을 두고 하나씩 비교해볼 예정이다. 

 

1. 무료 

2. 상업 제한 없는 라이선스 

3. 한국어 성능 우수 

4. RAG 에 적합 →  RAG의 핵심은 '검색(Retrieval)' 성능 

 

5. 모델 크기 

6. 벡터 차원수 →   벡터DB 와 규격 맞아야 함. 

7. 연산속도 → 대부분 매우 빠름 . . 

8. 자원 

 

 

먼저 임베딩 모델을 한눈에 비교해볼수 있는 벤치마크 이다.

MTEB Leaderboard - a Hugging Face Space by mteb

 

MTEB(Massive Text Embedding Benchmark) 란? 

• 텍스트 임베딩 모델의 성능을 다양한 관점에서 종합적으로 평가하고 비교하기 위해 만들어진 표준화된 프레임워크. 
• 문장과 문서 임베딩 모델의 성능을 비교할 수 있는 리더보드가 존재한다. 
• 검색, 클러스터링, 분류, 의미적 유사도 등 여러 태스크로 나눠 모델의 임베딩 성능 평가한다. 
• 특정 작업(예: 검색)만 잘하는 모델이 아니라, 여러 종류의 언어 과제에서 두루 좋은 성능을 내는지 객관적으로 평가하는 것을 목표로 함. 
• 과거에는 모델의 성능을 제각기 다른 기준으로 평가했지만, MTEB는 이를 하나로 통합하여 개발자들이 모델의 강점과 약점을 한눈에 파악하고 공정하게 비교할 수 있도록 돕습니다.

ex) 의미론적 텍스트 유사도(STS) 에서 최고 성능을 보이는 임베딩 모델이 클러스터링이나 재정렬(reranking) 같은 다른 작업에서도 똑같이 뛰어날지는 불분명함.

 

왜 성능 보장이 안되는가? = 태스크별로 요구하는 '유사도'의 정의가 다르기 때문"

태스크	목표	필요한 '유사도'의 정의
STS	두 텍스트의 의미적 일치도 측정	1:1 비교, 대칭적 유사성
클러스터링	전체 데이터의 구조적 그룹화	그룹 내적 응집도, 전역적(Global) 유사성
검색/재정렬	질문에 대한 최적의 정답 순위 매기기	질문-답변 관계, 비대칭적 관련성(Relevance)

 

 

MTEB 의 평가 방법 

https://arxiv.org/pdf/2210.07316 - MTEB: Massive Text Embedding Benchmark

MTEB가 미리 준비해 둔 데이터셋을 활용해 각 태스크(검색, 분류, 클러스터링, STS) 마다 매우 구체적이고 자동화된 평가 절차 따름. 

MTEB 에서 사용된 데이터 셋: arXiv, bioRxiv (과학 기술 논문), Amazon (상품 리뷰, Alexa 명령어), Twitter, Stack Overflow (개발자 Q&A), MS MARCO(Bing 검색엔진 실제 데이터) 등 (출처: MTEB 논문 )

 

 

각 태스크별 평가 내용 

 

🚀 검색 (Retrieval)

• 목표: 질문(query)에 가장 적합한 문서(document)를 찾아내는 능력 평가
• 평가 과정:
  1. MTEB가 미리 준비해 둔 수많은 문서(Corpus)와 질문(Queries) 데이터셋을 사용합니다. (각 질문에 대한 정답 문서는 이미 지정되어 있습니다.)
  2. 테스트할 임베딩 모델로 모든 문서와 질문을 벡터로 변환합니다.
  3. 각 질문 벡터와 코사인 유사도가 가장 높은 문서 벡터 순서대로 랭킹을 매깁니다.
  4. 이 랭킹 결과가 실제 정답과 얼마나 일치하는지 점수를 매깁니다.
• 핵심 평가지표 (Main Metric): nDCG@10
• 의미: 상위 10개 검색 결과의 '순서'까지 고려한 정확도입니다. 단순히 정답을 10개 안에 포함시켰는지 뿐만 아니라, 가장 중요한 정답을 가장 높은 순위(1~2위)에 올렸는지를 비중 있게 평가합니다. RAG 성능에 가장 이상적인 지표 중 하나입니다.

---

📊 분류 (Classification)

• 목표: 텍스트를 주어진 카테고리로 나누는 능력 평가 (예: 영화 리뷰를 '긍정'/'부정'으로 분류)
• 평가 과정:
  1. 주어진 텍스트들을 모델을 사용해 벡터로 변환합니다.
  2. 이 벡터들을 가지고 간단한 머신러닝 분류기(로지스틱 회귀)를 학습시킵니다.
  3. 학습된 분류기가 테스트용 텍스트들을 얼마나 정확하게 분류하는지 확인합니다.
• 핵심 평가지표 (Main Metric): Accuracy (정확도)

---

🧩 클러스터링 (Clustering)

• 목표: 비슷한 주제의 텍스트끼리 그룹으로 묶는 능력 평가
• 평가 과정:
  1. 모든 텍스트를 벡터로 변환합니다.
  2. K-평균(k-means)과 같은 표준 클러스터링 알고리즘으로 벡터들을 그룹으로 나눕니다.
  3. 알고리즘이 만든 그룹이 실제 정답 그룹과 얼마나 일치하는지 점수를 매깁니다.
• 핵심 평가지표 (Main Metric): v-measure

---

⚖️ 의미론적 텍스트 유사도 (STS)

• 목표: 두 문장이 의미적으로 얼마나 비슷한지 측정하는 능력 평가
• 평가 과정:
  1. 두 문장을 각각 벡터로 변환합니다.
  2. 두 벡터 간의 코사인 유사도를 계산합니다.
  3. 이 계산된 유사도 점수가 사람이 직접 매긴 실제 유사도 점수와 얼마나 유사한 경향을 보이는지(상관관계)를 측정합니다.
• 핵심 평가지표 (Main Metric): Spearman correlation (스피어만 상관계수)

 

 

MTEB 로 임베딩 모델 순위 확인하기 

 

RAG 을 구축하는 데에 있어서 적합한 임베딩 모델을 찾기 위해  아래와 같이 세팅해보았다. 

 

Task Type: Retrieval (검색) : RAG의 핵심  

Doman: Non-fiction : 우리 프로젝트의 목표는 "일상 대화" 이기 때문에 특정 도메인이 아닌 범용성을 추구하기 위함. 

Modality : text 

Language : Kor 

Task : KLUE-STS, Ko-StrategyQA, KorSTS, MIRACLRetrieval 

 

KLUE-STS (Korean Language Understanding Evaluation - Semantic Textual Similarity ) 

- 한국어 이해 능력 평가를 위한 대표적인 종합 벤치마크 'KLUE'**에 포함된, 문장 유사도 측정 시험

 

Ko-StrategyQA  (Korean Strategy Question Answering )

- 여러 단계의 추론이 필요한 복잡한 질문-답변(QA) 데이터셋의 한국어 버전

 

KorSTS (Korean Semantic Textual Similarity) 

- KLUE-STS와 동일하게 두 문장 간의 의미적 유사도를 평가 

- 서로 다른 출처의 데이터로 구성되어 있어, 모델의 일반화 성능을 교차 검증하는 역할

 

MIRACLRetrieval (Multilingual Information Retrieval Across Corpus & Languages)

- 18개의 다양한 언어에 대해 정보 검색 성능을 평가하는 대규모 다국어 검색 벤치마크

 

 

MTEB 순위 

 

결론적으로 위 필터링을 거친 모델 목록은 아래와 같다. 

• PwC-Embedding_expr
• jina-embeddings-v3
• multilingual-e5-large-instruct
• snowflake-arctic-embed-l-v2.0
• Solon-embeddings-large-0.1
• gte-multilingual-base
• STS-multilingual-mpnet-base-v2
• bilingual-embedding-base
• multilingual-e5-base
• Arabic-all-nli-triplet-Matryoshka

이 중에서, 한국어 지원 여부, 라이선스 여부 등을 따져서 사용 불가능한 모델을 걸러낸 최종 모델 3가지는 아래와 같다. 

 

1. snowflake-arctic-embed-l-v2.0

https://huggingface.co/Snowflake/snowflake-arctic-embed-l-v2.0

Snowflake/snowflake-arctic-embed-l-v2.0 · Hugging Face

 

2. multilingual-e5-large-instruct

https://huggingface.co/intfloat/multilingual-e5-large-instruct

intfloat/multilingual-e5-large-instruct · Hugging Face

 

3. PwC-Embedding_expr

https://huggingface.co/SamilPwC-AXNode-GenAI/PwC-Embedding_expr

SamilPwC-AXNode-GenAI/PwC-Embedding_expr · Hugging Face

 

 

 

+ 한국어 특화 모델 추가 

아래 주소는 한국어 특화된 오픈소스 임베딩 모델 순위를 확인해볼수 있는 리더보드이다.  

MTEB 를 커스텀해서 제작된 사이트이며 MTEB 에서 발견하지 못했던 한국어 모델을 발견했다 

 

https://github.com/OnAnd0n/ko-embedding-leaderboard

GitHub - OnAnd0n/ko-embedding-leaderboard: Korean-MTEB

 

 

그 중 내가 최종적으로 선정했던 세가지 모델과 비슷한 점수를 얻은 아래 두개의 모델을 같이 비교해 보고자 한다. 

 

1. dragonkue/snowflake-arctic-embed-l-v2.0-ko

https://huggingface.co/dragonkue/snowflake-arctic-embed-l-v2.0-ko

dragonkue/snowflake-arctic-embed-l-v2.0-ko · Hugging Face

 

 

2. nlpai-lab/KURE-v1

https://huggingface.co/nlpai-lab/KURE-v1

nlpai-lab/KURE-v1 · Hugging Face

 

 

 

RAG 임베딩 모델 최종 후보 비교

구분	snowflake-arctic-embed-l-v2.0	multilingual-e5-large-instruct	PwC-Embedding_expr	dragonkue/snowflake-arctic-embed-l-v2.0-ko	nlpai-lab/KURE-v1
릴리즈	24년 12월	24년	25년 8월	25년 3월	24년 12월
요금	무료	무료	무료	무료	무료
라이선스	Apache 2.0	MIT	Apache 2.0	Apache 2.0	MIT
지원 언어	O / 다국어모델	O / 다국어모델	O / 한국어 특화	O / 한국어 특화	O / 한국어 특화
모델 크기	568M	560M	560M	568M	568M
파일 크기	2.27GB	1.12GB	2.4GB	2.27 GB	2.27 GB
벡터 차원 수	1024	1024	1024	1024	1024
CPU 사용성	느릴 수 있음	상대적으로 가장 양호	느릴 수 있음	느릴 수 있음	느릴 수 있음
Retrieval 검색 점수	80.45 (1위)	80.35 (2위)	79.69 (3위)	78.13	75.67

 

8. 임베딩 모델 테스트 

- 임베딩 모델의 목표는 "의미 있는 관계가 보존"되는 연속 벡터 공간에서 데이터를 표현하는 것. 

- 실제로 임베딩 모델의 학습 프로세스에는 선택한 목적 함수를 기반으로 예측 값과 실제 값 간의 차이를 최소화하기 위해 모델의 매개변수를 조정하는 작업이 포함된다. 

 

 

테스트 환경 

 

1. LLM 모델 

우선 llm 모델은 K-intelligence/Midm-2.0-Mini-Instruct

vllm 에 서빙해놓고 테스트 했다. 

 

 

2. 테스트 데이터 

#1 

#데이터 소스 

CORPUS = [
    "PwC-Embedding_expr 모델은 multilingual-e5-large-instruct를 기반으로 한국어 STS 데이터셋을 증강하여 미세조정한 모델이다.",
    "multilingual-e5-large-instruct 모델은 MIT 라이선스를 따르며, 파일 크기는 1.12GB이다.",
    "snowflake-arctic-embed-l-v2.0 모델의 최대 토큰 길이는 8192이며, 벡터 차원 수는 1024이다.",
    "RAG 시스템에서 임베딩 모델의 성능은 검색(Retrieval) 정확도에 큰 영향을 미친다.",
    "CPU에서 대용량 임베딩 모델을 실행할 경우, 응답 속도가 상당히 느려질 수 있다."
]

 

#테스트 질문 

QUESTIONS = [
    "PwC 임베딩 모델은 어떤 모델을 기반으로 만들어졌나요?",
    "CPU에서 임베딩 모델을 돌리면 어떻게 되나요?",
    "e5 모델의 라이선스는 무엇인가요?",
    "가장 긴 텍스트를 처리할 수 있는 모델은 무엇인가요?"
]

 

소요 시간 결과 

모델 이름	벡터 DB 생성 시간 (초) (문서 임베딩 속도)	질문당 평균 답변 생성 시간 (초) (사용자 체감 속도)	답변 품질
multilingual-e5-large-instruct	0.20	0.30	매우 우수
SamilPwC-AXNode-GenAI/PwC-Embedding_expr	0.21	0.29	우수 (간결)
dragonkue/snowflake-arctic-embed-l-v2.0-ko	0.21	0.29	우수 (간결)
nlpai-lab/KURE-v1	0.21	0.43	매우 우수 (상세)
Snowflake/snowflake-arctic-embed-l-v2.0	0.27	0.43	매우 우수 (상세)

 

# 1 모델별 답변 비교 

질문 (Question)	Snowflake 원본	e5-large-instruct	PwC-expr	dragonkue-ko	KURE-v1
PwC 모델의 기반은?	PwC 임베딩 모델은 multilingual-e5-large-instruct 모델을 기반으로 만들어졌습니다. 이 모델은 한국어 STS 데이터셋을 증강하여 미세조정된 것입니다.	PwC 임베딩 모델은 multilingual-e5-large-instruct 모델을 기반으로 만들어졌습니다.	PwC 임베딩 모델은 multilingual-e5-large-instruct 모델을 기반으로 만들어졌습니다.	PwC 임베딩 모델은 multilingual-e5-large-instruct 모델을 기반으로 만들어졌습니다.	PwC 임베딩 모델은 multilingual-e5-large-instruct 모델을 기반으로 만들어졌습니다.
CPU에서 돌리면?	# CPU에서 임베딩 모델 실행 시 성능 문제 CPU에서 대용량 임베딩 모델을 실행할 경우, 응답 속도가 상당히 느려질 수 있습니다. 이는 임베딩 모델이 일반적으로 GPU와 같은 전용 하드웨어에서 더 효율적으로 처리되기 때문입니다. 문서에 따르면, 임베딩 모델의 성능은 검색(Retrieval) 정확도에 큰 영향을 미치므로, CPU 환경에서는 이러한 모델을 사용할 때 성능 저하가 발생할 수 있습니다.	CPU에서 대용량 임베딩 모델을 실행할 경우, 응답 속도가 상당히 느려질 수 있습니다.	CPU에서 대용량 임베딩 모델을 실행할 경우, 응답 속도가 상당히 느려질 수 있습니다.	CPU에서 대용량 임베딩 모델을 실행할 경우, 응답 속도가 상당히 느려질 수 있습니다.	# CPU에서 임베딩 모델 실행 시 성능 문제 CPU에서 대용량 임베딩 모델을 실행할 경우, 응답 속도가 상당히 느려질 수 있습니다. 이는 임베딩 모델이 일반적으로 GPU에서 더 효율적으로 처리되기 때문입니다. 문서에 따르면, 임베딩 모델의 성능은 검색(Retrieval) 정확도에 큰 영향을 미치므로, CPU 환경에서는 이러한 모델을 사용할 때 성능 저하가 발생할 수 있습니다.
e5 모델의 라이선스는?	e5 모델의 라이선스는 MIT 라이선스입니다.	e5 모델의 라이선스는 MIT 라이선스입니다.	e5 모델의 라이선스는 MIT 라이선스입니다.	e5 모델의 라이선스는 MIT 라이선스입니다.	e5 모델의 라이선스는 MIT 라이선스입니다.
가장 긴 텍스트 처리 모델은?	가장 긴 텍스트를 처리할 수 있는 모델은 'snowflake-arctic-embed-l-v2.0' 모델입니다. 이 모델의 최대 토큰 길이는 8192이며, 벡터 차원 수는 1024입니다.	가장 긴 텍스트를 처리할 수 있는 모델은 'snowflake-arctic-embed-l-v2.0' 모델입니다. 이 모델의 최대 토큰 길이는 8192로, 제공된 모델들 중 가장 긴 텍스트를 처리할 수 있는 능력을 가지고 있습니다.	가장 긴 텍스트를 처리할 수 있는 모델은 'snowflake-arctic-embed-l-v2.0' 모델입니다. 이 모델의 최대 토큰 길이는 8192이며, 벡터 차원 수는 1024입니다.	가장 긴 텍스트를 처리할 수 있는 모델은 'snowflake-arctic-embed-l-v2.0' 모델입니다. 이 모델의 최대 토큰 길이는 8192이며, 벡터 차원 수는 1024입니다.	가장 긴 텍스트를 처리할 수 있는 모델은 'snowflake-arctic-embed-l-v2.0' 모델입니다. 이 모델의 최대 토큰 길이는 8192이며, 벡터 차원 수는 1024입니다.

결과 요약:  정답이 명확한 사실 기반 데이터 테스트에서는 모든 모델이 100% 정확한 답변을 생성했지만, 답변의 '상세함'에서 각 모델의 스타일 차이 드러남. 

 

우수한 모델: Snowflake/snowflake-arctic-embed-l-v2.0 / nlpai-lab/KURE-v1

이유 : 단순히 정답만 제시하는 것을 넘어, 사용자가 궁금해할 만한 관련 정보(예: 벡터 차원 수, GPU가 더 효율적인 이유 등)를 추가로 제공하여 LLM이 더 친절한 답변을 만들도록 유도

나머지 모델은 질문에 요지에 대한 핵심 정보만 정확하게 전달. 

 

 

#2 

#데이터 소스 

CORPUS = [
    # 문서 1: 베이직 요금제 설명 (의미론적 검색 타겟)
    "월 9,900원의 베이직 요금제는 광고가 포함되며, 동시에 한 명만 접속할 수 있습니다. 스탠다드 요금제부터는 광고 없이 시청 가능합니다.",
    # 문서 2: 프리미엄 요금제 설명 (정보 추출 타겟)
    "프리미엄 요금제는 월 15,900원으로, 4K 초고화질을 지원하며 최대 4개의 프로필을 생성할 수 있습니다. 또한, 콘텐츠를 다운로드하여 오프라인에서 시청하는 기능도 제공합니다.",
    # 문서 3: 환불 및 해지 정책 (동의어/바꿔쓰기 타겟)
    "구독 서비스의 중도 해지는 언제든지 가능하며, 위약금이나 별도의 수수료는 발생하지 않습니다. 결제 후 7일 이내 콘텐츠 시청 기록이 없는 경우에 한해 전액 환불이 가능합니다.",
    # 문서 4: 무료 체험 이벤트 (애매함 구분 타겟)
    "신규 가입자는 첫 달에 한해 프리미엄 요금제를 무료로 체험할 수 있습니다. 무료 체험 기간이 끝나면 자동으로 유료 결제로 전환되니 주의가 필요합니다."
]


#테스트 질문 
QUESTIONS = [
    # 질문 1: '광고 없이'라는 키워드는 없지만, 의미적으로 관련된 문서를 찾아야 함
    "광고 안 보고 싶으면 어떤 요금제를 써야 하나요?",
    # 질문 2: 긴 문단 속에서 '4개'라는 특정 정보를 정확히 찾아내야 함
    "한 계정에 프로필은 총 몇 개까지 만들 수 있어요?",
    # 질문 3: '벌금'과 '위약금'이 같은 의미임을 파악해야 함
    "구독 중간에 취소하면 벌금을 내야 하나요?",
    # 질문 4: '무료 요금제'와 '무료 체험'의 차이를 구분해야 함 (가장 어려운 질문)
    "완전 무료인 요금제는 없나요?"
]

소요 시간 결과 

모델 이름	벡터 DB 생성 시간 (초) (문서 임베딩 속도)	질문당 평균 답변 생성 시간 (초) (사용자 체감 속도)	답변 품질
multilingual-e5-large-instruct	0.18	0.45	매우 우수
SamilPwC-AXNode-GenAI/PwC-Embedding_expr	0.21	0.39	매우 우수
dragonkue/snowflake-arctic-embed-l-v2.0-ko	0.19	0.30	우수
nlpai-lab/KURE-v1	0.20	0.30	우수
Snowflake/snowflake-arctic-embed-l-v2.0	0.21	0.28	우수

 

 

# 2 모델별 답변 비교 

질문 (Question)	Snowflake 원본	e5-large-instruct	PwC-expr	dragonkue-ko	KURE-v1
광고 안 보고 싶으면 어떤 요금제를 써야 하나요?	광고를 보지 않으려면 스탠다드 요금제 이상을 사용해야 합니다. 문서에 따르면, 스탠다드 요금제부터는 광고 없이 시청이 가능하다고 명시되어 있습니다.	광고를 보지 않으려면 스탠다드 요금제 이상을 사용해야 합니다. 스탠다드 요금제부터는 광고 없이 시청이 가능합니다.	광고를 보지 않으려면 스탠다드 요금제 이상을 사용해야 합니다. 스탠다드 요금제부터는 광고 없이 시청이 가능합니다.	광고를 보지 않으려면 스탠다드 요금제 이상을 사용해야 합니다. 스탠다드 요금제부터는 광고 없이 시청이 가능합니다.	광고를 보지 않으려면 스탠다드 요금제 이상을 사용해야 합니다. 스탠다드 요금제부터는 광고 없이 시청이 가능합니다.
한 계정에 프로필은 총 몇 개까지 만들 수 있어요?	프리미엄 요금제는 한 계정에 최대 4개의 프로필을 생성할 수 있습니다.	프리미엄 요금제는 월 15,900원으로, 4K 초고화질을 지원하며 최대 4개의 프로필을 생성할 수 있습니다.	프리미엄 요금제는 한 계정에 최대 4개의 프로필을 생성할 수 있습니다.	프리미엄 요금제는 월 15,900원으로, 4K 초고화질을 지원하며 최대 4개의 프로필을 생성할 수 있습니다.	프리미엄 요금제는 월 15,900원으로, 4K 초고화질을 지원하며 최대 4개의 프로필을 생성할 수 있습니다.
구독 중간에 취소하면 벌금을 내야 하나요?	구독 서비스의 중도 해지는 언제든지 가능하며, 위약금이나 별도의 수수료는 발생하지 않습니다.	구독 서비스의 중도 해지는 언제든지 가능하며, 위약금이나 별도의 수수료는 발생하지 않습니다.	구독 서비스의 중도 해지는 언제든지 가능하며, 위약금이나 별도의 수수료는 발생하지 않습니다.	구독 서비스의 중도 해지는 언제든지 가능하며, 위약금이나 별도의 수수료는 발생하지 않습니다.	구독 서비스의 중도 해지는 언제든지 가능하며, 위약금이나 별도의 수수료는 발생하지 않습니다.
완전 무료인 요금제는 없나요?	신규 가입자는 첫 달에 한해 프리미엄 요금제를 무료로 체험할 수 있습니다. 무료 체험 기간이 끝나면 자동으로 유료 결제로 전환되니 주의가 필요합니다.	네, 완전 무료인 요금제는 없습니다. 문서에 따르면, 베이직 요금제는 월 9,900원으로 광고가 포함되며 한 명만 접속할 수 있습니다. 스탠다드 요금제부터는 광고 없이 시청이 가능합니다. 프리미엄 요금제는 월 15,900원으로, 4K 초고화질을 지원하며 최대 4개의 프로필을 생성할 수 있고, 콘텐츠를 다운로드하여 오프라인에서 시청할 수 있는 기능도 제공합니다. 신규 가입자는 첫 달에 한해 프리미엄 요금제를 무료로 체험할 수 있지만, 무료 체험 기간이 끝나면 자동으로 유료 결제로 전환됩니다.	네, 완전 무료인 요금제는 없습니다. 문서에 따르면, 베이직 요금제는 월 9,900원으로 광고가 포함되며, 스탠다드 요금제부터는 광고 없이 시청이 가능합니다. 프리미엄 요금제는 월 15,900원으로 광고 없이 시청이 가능하며, 4K 초고화질과 최대 4개의 프로필 생성, 오프라인 시청 기능을 제공합니다. 신규 가입자는 첫 달에 한해 프리미엄 요금제를 무료로 체험할 수 있지만, 무료 체험 기간이 끝나면 자동으로 유료 결제로 전환됩니다.	신규 가입자는 첫 달에 한해 프리미엄 요금제를 무료로 체험할 수 있습니다. 무료 체험 기간이 끝나면 자동으로 유료 결제로 전환되니 주의가 필요합니다.	신규 가입자는 첫 달에 한해 프리미엄 요금제를 무료로 체험할 수 있습니다. 무료 체험 기간이 끝나면 자동으로 유료 결제로 전환되니 주의가 필요합니다.

결과 요약: 미묘하고 까다로운 질문이 포함된 이 테스트에서는 모델 간의 '의미 이해 능력'에서 결정적인 차이가 드러났음. 

 

가장 성능 우수한 모델 : intfloat/multilingual-e5-large-instruct / SamilPwC-AXNode-GenAI/PwC-Embedding_expr

이유 : 가장 어려운 질문("완전 무료인 요금제는 없나요?")에 대해, "없다"고 명확히 답변한 후 대안을 제시.

사용자의 질문 의도를 가장 정확하게 파악했음을 의미

 

최종 결론 

 

꾸준히 답변 품질이 우수하고 

임베딩하는 속도가 가장 빠른 

 intfloat/multilingual-e5-large-instruct 로 결정 

모든 커뮤니티에서 꾸준히 언급되는 이유가 있다. ㅋㅋ 굿 

 

 

 

참고 

임베딩이란 무엇인가요? | IBM

 

임베딩 깊이 파헤치기: RAG의 핵심 기술

 

 

LLM 임베딩 모델