Vector Database ๋ฒกํ„ฐ DB
ยท
LLM
๋ฒกํ„ฐ DB ๋ž€ ๋ฒกํ„ฐ DB ์ •์˜ ๋ฐ ์—ญํ•  ์ž„๋ฒ ๋”ฉ๋œ ๊ณ ์ฐจ์› ๋ฒกํ„ฐ ๋ฐ์ดํ„ฐ(์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์˜ ์•„์›ƒํ’‹) ๋ฅผ ์ €์žฅํ•˜๊ณ  ํšจ์œจ์ ์œผ๋กœ ๊ฒ€์ƒ‰ํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋„์™€์ฃผ๋Š” ๋ฐ์ดํ„ฐ ๋ฒ ์ด์Šค.๋ฐ์ดํ„ฐ ํฌ์ธํŠธ(๋ฐ์ดํ„ฐ ์ง‘ํ•ฉ ์•ˆ์— ํฌํ•จ๋œ ํ•˜๋‚˜์˜ ๊ด€์ธก์น˜/ํ•ญ๋ชฉ): ์ˆซ์ž ๋ฐฐ์—ด์ธ “๋ฒกํ„ฐ”๋ฒกํ„ฐ์˜ ์œ ์‚ฌ์„ฑ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํด๋Ÿฌ์Šคํ„ฐ๋ง๋จ. → ์ง€์—ฐ์‹œ๊ฐ„์ด ์งง์€ ์ฟผ๋ฆฌ๋ฅผ ์ง€์›ํ•˜๊ธฐ ๋•Œ๋ฌธ์— AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ์ด์ƒ์ .์‚ฌ์‹ค์ƒ ๋ชจ๋“  ๋ฐ์ดํ„ฐ ์œ ํ˜•์— ๋Œ€ํ•œ ์˜๋ฏธ๋ก ์  ์˜๋ฏธ, ํŠน์ง•์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•จ๊ป˜ ๊ทธ๋ฃนํ™”๋˜๊ฑฐ๋‚˜ ๋ฐ˜๋Œ€๋˜๋Š” ๊ฒƒ์œผ๋กœ ์‹๋ณ„๋จ.๋ฒกํ„ฐ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋Š” RAG ๊ตฌํ˜„์„ ์ง€์›ํ•˜๋Š” ๋ฐ ํ•ต์‹ฌ์ ์ธ ์—ญํ• ์„ ํ•จ. ๋ฒกํ„ฐ์™€ ํ…์„œVectorํ…์„œ์˜ ํ•˜์œ„ ์ง‘ํ•ฉ์—ฌ๋Ÿฌ ์Šค์นผ๋ผ๋ฅผ ํฌํ•จํ•˜๋Š” 1์ฐจ์› ํ˜น์€ 1์ฐจ ํ…์„œ. → ์ˆซ์ž ๋ชจ์Œ.ex) ๋‚ ์”จ๋ชจ๋ธ์€ ํ•˜๋ฃจ๋™์•ˆ์˜ ์ตœ์ €์˜จ๋„, ์ตœ๊ณ ์˜จ๋„, ํ‰๊ท ์˜จ๋„๋ฅผ ๋ฒกํ„ฐ๋กœ ๊ตฌ์„ฑ ๊ฐ€๋Šฅ๊ฐ ์Šค์นผ๋ผ๋Š” ๋ฒกํ„ฐ..
RAG ๊ตฌ์ถ•์„ ์œ„ํ•œ ํ•œ๊ตญ์–ด ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ ์„ ์ •ํ•˜๊ธฐ
ยท
LLM
1. ์ž„๋ฒ ๋”ฉ (Embedding) ์ด๋ž€ ๋‹จ์–ด, ๋ฌธ์žฅ, ์ด๋ฏธ์ง€ ๋“ฑ ์‚ฌ๋žŒ์ด ์‚ฌ์šฉํ•˜๋Š” ๋ณต์žกํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๊ณ„๊ฐ€ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ์ˆซ์ž ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๊ณผ์ • ๋˜๋Š” ๊ทธ ๊ฒฐ๊ณผ๋ฌผ๋ฐ์ดํ„ฐ๋ฅผ ์ž„๋ฒ ๋”ฉ ์ƒ์„ฑ ๋ชจ๋ธ์— ์ž…๋ ฅํ•˜๋ฉด ์ผ์ • ์ˆ˜์˜ ์‹ค์ˆ˜๋กœ ๊ตฌ์„ฑ๋œ ๋ฒกํ„ฐ ์ถœ๋ ฅ๋จ. ์‚ฌ๋žŒ์ด ์ง์ ‘ ๊ด€์ฐฐ, ์˜๋ฏธ ํŒŒ์•…ํ•˜๊ธฐ๋Š” ์–ด๋ ต์ง€๋งŒ ์ปดํ“จํ„ฐ๋Š” “์ž„๋ฒ ๋”ฉ” ๊ฐ„์˜ ๊ฑฐ๋ฆฌ๋ฅผ ๊ณ„์‚ฐํ•˜์—ฌ “์˜๋ฏธ์ ์ธ ๊ด€๊ณ„” ์ดํ•ด ๊ฐ€๋Šฅ. ์‚ฌ์‹ค์ƒ ๋ชจ๋“  ์œ ํ˜•์˜ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์‹œ๋ฉ˜ํ‹ฑ ์ •๋ณด๋ฅผ ์ธ์ฝ”๋”ฉํ•ด์„œ ๊ณ ์ฐจ์› ๋ฒกํ„ฐ๋กœ ๋‚˜ํƒ€๋‚ด๋Š” ๊ฒƒ. 2. ์ž„๋ฒ ๋”ฉ์˜ ์—ญํ•  ๋‹จ์–ด, ๋ฌธ์žฅ ๊ฐ„ ์˜๋ฏธ ๊ด€๋ จ๋„ ๊ณ„์‚ฐ์„œ๋กœ ๋‹ค๋ฅธ ๋‹จ์–ด์™€ ๋ฒ”์ฃผ ๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ ์ดํ•ด์˜๋ฏธ์ , ๋ฌธ๋ฒ•์  ์ •๋ณด ํ•จ์ถ• → ๋ฒกํ„ฐ๊ฐ’์ด๊ธฐ ๋•Œ๋ฌธ์— ์‚ฌ์น™์—ฐ์‚ฐ์œผ๋กœ ๋‹จ์–ด๋“ค ์‚ฌ์ด์˜ ์˜๋ฏธ, ๋ฌธ๋ฒ•์  ๊ด€๊ณ„ ๋„์ถœ ๊ฐ€๋Šฅ. 3. ์ž„๋ฒ ๋”ฉ ์ž‘๋™ ๋ฐฉ์‹ ๋Œ€๋ถ€๋ถ„์˜ ๋จธ์‹ ๋Ÿฌ๋‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ์ž…๋ ฅ ๊ฐ’ : ์ €์ฐจ์›..