LLM 서비스에서 RAG를 쓸 것인가, 긴 컨텍스트 모델을 활용할 것인가는 기술 선택처럼 보이지만 실제로는 운영 전략의 문제입니다.
긴 컨텍스트의 강점은 통합성이다
긴 컨텍스트 쪽의 강점은 검색, chunking, 재조립, retrieval failure 같은 여러 실패 지점을 줄이고 모델이 한 번에 더 많은 맥락을 보고 판단할 수 있다는 점입니다.
RAG의 강점은 신선도와 비용이다
문서가 자주 바뀌는 환경에서는 모든 정보를 긴 컨텍스트에 넣기보다 필요한 문서를 검색해 주입하는 편이 낫습니다. 긴 컨텍스트는 비용과 지연이 커질 수 있고, 긴 입력 안에서 중요한 정보가 묻히는 문제도 남아 있습니다.
질문은 “무엇이 우월한가”보다 “우리 서비스의 실패 모드가 어디에 있는가”가 되어야 합니다.