임베딩(Embedding)과 벡터 공간

벡터 임베딩이란 ? 

사람이 이해하는 데이터를 기계가 이해할 수 있는 숫자(vector) 로 변환하는 과정. 
단순히 숫자로 바꾸는 것이아니라, 단어 사이의 의미적 관계 (semantic meaning) 을 담아낸다는 것이 핵심임. 

스칼라(Scalar) : 단일 숫자, 크기만 있고 방향은 없는 "하나의 숫자", 변수 하나에 담긴 값. 

벡터(Vector) : 숫자의 나열, 즉 1차원 배열. 여러 숫자를 순서대로 나열한 것. "크기"와 "방향"을 가짐. 

행렬(Matrix) : 숫자의 표 (2차원 배열) : 벡터들을 여러개  쌓아올린 값. ex. 엑셀시트. 

 

벡터 공간 

다차원 수학적 공간 
단순한 숫자 나열이 아닌, 데이터 간의 거리와 방향을 통해 관계를 정의할 수 있는 운동장. 
인간의 세상이 3차원일때, ai 의 벡터 공간은 수백~수천차원임. 
시각화 할 수 없는 범주에서 기계는 미세한 의미 차이를 구분해냄. 
 

임베딩 유사도 계산 하는 수학공식 3가지.

1) 유클리드 기하학 
- 두 점 사이의 직선 거리를 계산하여 비교하며 작을수록 유사한 값임. 그래서 물리적인 위치가 중요함
- ex) 이미지 처리(이미지 인식)에서 픽셀 값의 차이를 계산할때 주로 사용. 
(사진은 물리적인 정답이존재함. 반면에 텍스트는 "맛있는 사과다", "사과가 꿀맛이다" 이 다르게 생긴 두 문장의 의미가 비슷함. )
2)  코사인 유사도 
- 두 화살표 사이의 "각도"만으로 비교. 내적을 먼저 구한 후, 그 각도만 두고비교. 두 선의 길이(데이터의 크기) 는 중요하지 않음. 
- ex) RAG, LLM 검색의 표준. "배고파" vs "배고픈데뭐 먹을까" 는 방향이 같으므로, 유사하다고 판단. 
3) 내적 
- 두화살표의 길이가 "같을때" 방향이 얼마나 비슷한지. 내적으로 구해서 비교. 데이터 크기, 즉 길이에 의존적. 
- ex) 유튜브/넷플릭스 추천 알고리즘. 방향(장르 선호도) 도 맞아야 하지만, 조회수/시청 기간이 큰 데이터가 상단에 위치해야함. 
 

 임베딩 모델의 발전 과정 (4단계)

1단계: 통계 기반 (Sparse Embedding)

가장 원초적인 방법으로, 단어가 문장에 나타나는 빈도를 기반으로 숫자를 부여했습니다.
• 핵심 모델: TF-IDF, LSA(잠재 의미 분석)
• 특징: 단어장(Vocabulary) 크기만큼의 벡터 차원이 필요해 메모리 낭비가 심했고(희소 행렬), 단어 간의 의미적 유사성(사과와 배가 비슷하다는 점 등)을 전혀 파악하지 못했습니다.

2단계: 신경망 기반 정적 임베딩 (Static Embedding)

2013년 구글의 Word2Vec이 등장하며 혁명이 시작되었습니다. 단어를 수백 차원의 밀집 벡터(Dense Vector)로 압축하면서도 의미를 보존하게 되었습니다.
• 핵심 모델: Word2Vec, GloVe, FastText
• 특징: "왕 - 남자 + 여자 = 여왕" 같은 벡터 연산이 가능해질 정도로 단어의 의미 관계를 잘 파악했습니다.
• 한계: 앞서 말씀드린 대로 문맥을 모릅니다. "배(ship)"와 "배(pear)"를 똑같은 벡터로 표현합니다.

3단계: 문맥 기반 동적 임베딩 (Contextual Embedding)

2018년 전후로 등장한 모델들로, 단어 자체가 아니라 문장 속에서의 역할에 따라 벡터값이 실시간으로 변합니다.
• 핵심 모델: ELMo, BERT, GPT-1/2
• 특징: Transformer 구조를 채택하면서 문장 전체를 한꺼번에 보고 단어의 의미를 결정합니다. 덕분에 동음이의어 문제를 완벽히 해결했고, NLP의 거의 모든 벤치마크 점수를 갈아치웠습니다.

4단계: 거대 언어 모델 시대 (LLM-based Embedding)

단순히 단어/문장 표현을 넘어, 모델 자체가 가진 거대한 지식을 임베딩에 녹여냅니다.
• 핵심 모델: OpenAI text-embedding-3, BGE-M3, HuggingFace의 각종 SBERT 모델
• 특징:
• 다국어 지원: 한국어로 검색해도 영문 문서를 찾아내는 능력이 탁월합니다.
• 긴 문맥 처리: 아주 긴 문서도 하나의 고품질 벡터로 요약해 냅니다.
• RAG 최적화: 질문(Query)과 문서(Document) 사이의 관계를 더 정교하게 매칭하도록 학습되었습니다.


 

LLM 기반 임베딩 모델 (intfloat/multilingual-e5-large-instruct) 

https://huggingface.co/intfloat/multilingual-e5-large-instruct

intfloat/multilingual-e5-large-instruct · Hugging Face

 
임베딩 모델 - intfloat/multilingual-e5-large-instruct
모델명 : multilingual-e5-large-instruct 
개발사: 마이크로소프트(MS) 에서 개발한 E5 (EmbEddings from Bidirectional Encoder Representations) 시리즈의 다국어 버전 
참고 논문 : https://arxiv.org/abs/2212.03533  <Text Embeddings by Weakly-Supervised Contrastive Pre-training> (2022) 
 
1. 모델의 정체성 및 기반 
기반 모델: xlm-roberta-large 모델을 기반으로 초기화 
설계 목적: 100개 이상 언어 지원, 다국어 환경에서 검색 쿼리와 문서(passage) 간의 유사성을 평가하거나, 문장의 의미를 벡터 공간에 매핑하는데 최적화됨. 
규모:레이어 24개 (Base: 12개 / Large: 24개 / 초거대 LLM: 레이어 96개 이상) 
(레이어는 두뇌의 깊이를 의미하고, 매개변수는 두뇌의 용량/지식의 양을 의미) 
 
2. 학습 단계
1단계 (사전 학습): 10억 개의 다국어 텍스트 쌍을 이용해 약지도 대조 학습(Weakly-supervised Contrastive Pre-training)을 거쳤습니다.
2단계 (미세 조정): E5-mistral 논문에서 사용된 고품질 데이터셋으로 지시어 튜닝(Fine-tuning)을 진행했습니다.
 
3. 사용 규칙 : 지시어(Instruction) 
질문(quury) : 반드시 한 문장으로 된 "작업 지시어" 를 포함해야함. 
ex) "웹 검색 쿼리가 주어지면, 질문에 답하는 관련 문서를 찾으세요" 와 같은 명령어를 질문 앞에 붙여야 성능 저하를 막을 수 있음. 
*기존 코드 수정함 (llm_project/app/services.py/ 함수 embed_query -> DEFAULT_INSTRUCT 추가) 

def embed_query(text: str) -> List[float]:
    """질문 텍스트를 임베딩 (E5 'query:' 접두사 사용)"""
    # PREFIX = getattr(settings, "EMBED_QUERY_PREFIX", "query: ")

    # Instruct 모델의 공식 권장 지시문 형식
    # settings에서 가져오되, 없으면 공식 인스트럭션을 기본값으로 사용함
    DEFAULT_INSTRUCT = "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery: "
    PREFIX = getattr(settings, "EMBED_QUERY_PREFIX", DEFAULT_INSTRUCT)

    try:
        vec = services.embed_texts([PREFIX + text])[0]
        return vec
    except Exception as e:
        print(f"[오류] 'services.embed_texts' 함수 실행 실패: {e}")
        sys.exit(1)

 
 

벡터 검색 알고리즘 

- 가장 유사한 벡터값을 빠르고, 효율적으로 찾기 위한 알고리즘. 

1. k-NN (k-최근접 이웃): 전수조사 방식 (정확도 100%, 속도 느림).
2. ANN (근사 최근접 이웃): 지름길 찾기 방식 (정확도와 속도의 타협).
   • IVF (방 나누기): 공간을 클러스터로 나누어 특정 구역만 검색.
   • NSW (거미줄 탐색): 데이터 간의 그래프를 그려서 길 찾기 방식으로 검색.
   • HNSW (계층형 거미줄): NSW에 '계층(Layer)' 개념을 도입하여 고속도로처럼 빠르게 이동한 뒤 정밀 탐색.
     • 대부분의 벡터 DB 는 가장 진화된 형태인 HNSW 를 기본엔진으로 채택하고 있음.