스터디 기록장

1. Introduction — Why VectorDB Matters1.1 Vector Dataset SizeVectorDB usage in RAG system. Assumption knowledge base like wikipediaCategoryCalculationResultShort articles (90%)6.7M × 0.9 × 1 vector6.03M vectorsLong articles (10%)6.7M × 0.1 × 2.5 vectors1.675M vectorsTotal6.03M + 1.675M7.705M vectorsAssumes no chunking; each document up to 8192 tokens (OpenAI embedding model limit).Using 1,024-di..

motivationANN의 목표인 정확도 (recall), 지연시간 (latency), 적은 메모리 사용량을 모두 만족하기 위한 방법 제시HNSW은 높은 recall을 보여주지만, 메모리 상주 이슈로 대규모 데이터셋 처리엔 한계DiskANN원본 벡터(full-precision)와 neighbor ID list는 SSD에 저장, 압축된 벡터(product quantization)은 메모리에 저장각 노드의 데이터는 SSD의 4KB 블록 단위로 저장되며,하나의 블록(4kb)에 full-precision 벡터와 이웃 리스트가 함께 포함되도록 구성이 구조는 디스크 접근 시 한 번의 I/O로 필요한 모든 정보를 가져올 수 있게 하여 latency를 최소화함탐색 depths를 줄여 disk 접근을 적게 만듦Vaman..

vectorDB HNSW 인덱싱 메모리 이슈 문제 실험 및 수치화HNSW 그래프가 메모리에 상주해야 하는 구조적 특성으로 인한 서비스 상의 문제점 정리환경설정production 환경과 비슷한 local 실험 환경 재구성OpenSearch cluster (3 node)호스트에 3개의 container로 opensearch cluster 생성Host : 11 core, 36GB1.2M document IndexedMetriccpu usage (1분간 점유한 코어 개수 평균)virtual memoryrss (physical memory allocated)file IOIndex Create"embedding": { "type": "knn_vector", "dimension": 1..

OpenSearch based Faiss HNSW 인덱싱벡터 인덱싱 시 그래프 구조가 디스크에 저장되며, 검색 시 메모리에 적재되는 방식 확인인덱싱 및 검색 시 파라미터가 메모리 사용량과 검색 성능(latency, accuracy) 직접적인 영향을 미침을 확인함m: 각 노드가 유지하는 연결(edge)의 수 → 높을수록 recall 상승, 메모리 사용 증가ef_construction: 인덱싱 시 그래프 탐색 폭 → 인덱스 정확도 상승, 인덱싱 시간 증가ef_search: 검색 시 탐색 범위 → 높을수록 정확도 상승, latency 증가dimension: 그래프 노드에 해당 벡터 값 저장 -> 높을수록 메모리 사용량 증가인덱싱 파라미터 (m, dimension) 가 메모리 사용량에 미치는 영향 분석노드 하나..