7장. 두 번째 실습컨텍스트 윈도우를 설계한다

이 장의 목표

같은 질문에 다른 컨텍스트를 던져 답이 어떻게 달라지는지 직접 봅니다. 사내 문서 5건이 미리 적재돼 있고, 질문을 던지면 TF-IDF + 코사인 유사도로 관련 문서를 검색합니다 (실제 시스템은 신경망 임베딩 사용).

사내 문서 5건 (미리 적재됨)

실습 1 — 질문을 던지고 RAG 결과 보기

실습 2 — 같은 질문 × 컨텍스트 3종

위에서 검색된 RAG 결과를 가지고, 컨텍스트의 층을 더해 가며 같은 질문을 모델에 던집니다. 토큰 사용량과 답변의 결이 어떻게 달라지는지 비교하세요.

실습 3 — Lost in the Middle (정렬 효과)

같은 RAG 결과 5건의 순서만 바꿨을 때 답이 달라지는지 확인합니다. 6장에서 본 Liu 2023의 발견 — 모델은 중간에 묻힌 정보를 놓친다 — 의 실증.