AI 시스템에서 메모리가 중요한 이유

대형 언어 모델은 이제 200만 토큰 이상의 컨텍스트 윈도우를 지원합니다 — 책 전체를 담을 수 있는 양입니다. 이것이 메모리 문제를 해결한 것처럼 보일 수 있습니다. 하지만 그렇지 않습니다. 연구는 "가운데에서 사라진" 현상을 일관되게 보여줍니다 — 매우 긴 컨텍스트 블록의 가운데에 배치된 정보에 대해 모델의 정확도가 떨어집니다.

체계적인 메모리 설계 — 무엇을 저장하고, 어디에 저장하고, 언제 검색할지 결정하는 것 — 은 거대한 컨텍스트 윈도우에도 불구하고 여전히 필요합니다. 이것이 분야가 단순 검색 증강 생성(RAG)에서 "컨텍스트 엔지니어링"으로 이동한 이유입니다.

컨텍스트 엔지니어링은 모델이 받는 정보를 쓰레기통이 아닌 설계 표면으로 다루는 것입니다. 계층적 검색(넓은 범주를 먼저 검색한 후 좁히기), 동적 컨텍스트 조정(쿼리 복잡도에 따라 포함할 정보량 조절), 즉석 요약(관련성 낮은 정보 압축) 등의 기법을 포함합니다.

실용적 구현에서 이것은 에이전트가 적절한 맥락을 적절한 시점에 가져올 수 있을 때 가장 잘 작동한다는 것을 의미합니다 — 모든 것을 한 번에 과부하시키는 것이 아닙니다.

메모리 없이 사용자는 계속 다시 설명합니다. 시스템은 계속 다시 물어봅니다. 워크플로우는 절대 복리 효과를 만들지 않습니다. 이것이 대부분의 사람들이 현재 AI 도구에서 겪는 경험입니다 — 단일 세션에서는 강력하지만 세션을 넘어가면 무상태. 매주 월요일이 처음부터 시작하는 것 같습니다.

잘 설계된 메모리와 함께라면 시스템은 지속적인 협력자처럼 작동할 수 있습니다: 프로젝트 상태를 인식하고, 선호도를 인식하며, 반복적인 프롬프팅에 덜 의존합니다.

현대적 에이전트 메모리 접근법은 층위 아키텍처를 사용합니다. 단기 기억은 현재 대화를 처리합니다. 중기 기억은 세션을 넘어 활성 프로젝트와 선호를 추적합니다. 장기 기억은 영구적 지식 — 회사 정책, 클라이언트 이력, 제품 문서 — 을 저장합니다.

가장 유망한 발전은 동적 메모리 — 유용한 것으로 판명된 것에 기반해 기억하는 내용을 자율적으로 정제하는 시스템 — 입니다. 모든 것을 저장하거나 수동 큐레이션을 요구하는 대신, 이 시스템은 어떤 메모리가 자주 검색되고, 어떤 것이 더 나은 결과로 이어지고, 어떤 것이 안전하게 보관될 수 있는지를 학습합니다.

메모리는 중립적이지 않습니다. 잘못된 것 — 오래된 정보, 잘못된 가정, 적절한 접근 제어 없는 민감한 데이터 — 을 저장하면 시스템이 적극적으로 해로울 수 있습니다. 오래된 가격표나 폐기된 정책을 자신 있게 참조하는 에이전트는 아무것도 모르는 것보다 더 많은 문제를 만듭니다.

좋은 메모리 시스템은 거버넌스가 필요합니다: 무엇이 저장되고, 누가 접근할 수 있고, 얼마나 오래 유지되고, 언제 업데이트되거나 삭제되어야 하는지에 대한 명확한 정책. 엔터프라이즈 구현은 검색 파이프라인 내에서 접근 제어 목록을 사용하여 에이전트가 특정 사용자에게 권한이 부여된 문서만 표면화하도록 합니다.