로컬 환경에서 동작하는 RAG LLM, 문서를 검색하고 답변까지 이어줍니다.

Overview

사용자가 문서를 업로드하면, 시스템은 이를 임베딩·인덱싱하여 벡터DB에 저장합니다.
이후 질문 시 검색된 맥락을 바탕으로 LLM이 답변합니다.

목표

• 단순 기능 구현을 넘어서 팀/조직의 지식 검색을 대체할 수 있는 수준으로 설계
• 빠른 응답성과 운영 가시성 확보 → 현업 적용 가능

특징

• 엔드투엔드 자동화: 업로드 → 인덱싱 → 검색/생성 흐름이 사용자가 의식하지 않아도 동작
• 운영 중심 설계: JWT 인증으로 접근 제어, Grafana 연동으로 토큰 사용량·지연시간 모니터링
• 확장성 고려: Kafka 기반 비동기 처리와 Redis 캐시로 동시 요청 처리 성능 향상
• 개발자 친화성: Next.js & NestJS 게이트웨이로 타입 안전성을 확보하고, 불필요한 요청 최소화
• 로컬 서버 기반 구현: 온프레미스·사내망 환경에서도 독립적으로 배포·운영 가능

Architecture

TALKIE는 게이트웨이–백엔드–워크플로우–스토리지–LLM으로 이어지는 모듈형 구조를 가지고 있습니다.
각 구성 요소는 독립적으로 동작하며, 메시지 브로커와 캐시 계층을 통해 확장성과 안정성을 확보합니다.

프론트엔드 / 게이트웨이

• Next.js UI와 NestJS Gateway로 사용자 요청을 수집하고, GraphQL/REST 인터페이스와 JWT 인증을 처리

애플리케이션 서버

• FastAPI 기반 요청 처리, Kafka를 통해 비동기 작업을 워커로 위임

워크플로우 & 워커

• 문서 업로드 → 임베딩 → 벡터DB 인덱싱
• LangChain을 활용해 벡터 검색과 LLM 호출을 체인 단위로 조합, 모듈 간 연결과 유지보수를 단순화

데이터 계층

• Redis: 캐싱, 세션 관리 및 Streams 기반 이벤트 파이프라인
• Postgres: 메타데이터와 대화 히스토리 저장
• Weaviate: 벡터DB로 문서 검색 인덱싱
• MinIO: 객체 스토리지, 업로드된 원본 파일 및 대용량 데이터 보관

LLM 연결

• 프롬프트와 검색된 맥락을 기반으로 답변 생성

운영/모니터링

• Grafana로 토큰 사용량, 지연 시간, RAG 히트율 모니터링

Features

1. 자동 임베딩 & 벡터 인덱싱

• 파일 업로드 시 자동으로 벡터화·벡터 DB 인덱싱
• 원본은 MinIO에 저장, Weaviate에 검색 가능한 형태로 기록

2. RAG 기반 질의 응답

• FastAPI가 벡터 검색 결과를 LLM에 전달하고, 맥락 기반 응답을 생성

3. 실시간 스트리밍 응답 (SSE + Redis Stream)

• LLM 토큰을 순차 전송해 빠른 응답과 자연스러운 대화 경험 제공

4. 보안 및 운영

• JWT 기반 인증/인가, Grafana 연동으로 요청·토큰 사용량·지연 시간 모니터링

Demo