스터디 기록장

motivationANN의 목표인 정확도 (recall), 지연시간 (latency), 적은 메모리 사용량을 모두 만족하기 위한 방법 제시HNSW은 높은 recall을 보여주지만, 메모리 상주 이슈로 대규모 데이터셋 처리엔 한계DiskANN원본 벡터(full-precision)와 neighbor ID list는 SSD에 저장, 압축된 벡터(product quantization)은 메모리에 저장각 노드의 데이터는 SSD의 4KB 블록 단위로 저장되며,하나의 블록(4kb)에 full-precision 벡터와 이웃 리스트가 함께 포함되도록 구성이 구조는 디스크 접근 시 한 번의 I/O로 필요한 모든 정보를 가져올 수 있게 하여 latency를 최소화함탐색 depths를 줄여 disk 접근을 적게 만듦Vaman..

vectorDB HNSW 인덱싱 메모리 이슈 문제 실험 및 수치화HNSW 그래프가 메모리에 상주해야 하는 구조적 특성으로 인한 서비스 상의 문제점 정리환경설정production 환경과 비슷한 local 실험 환경 재구성OpenSearch cluster (3 node)호스트에 3개의 container로 opensearch cluster 생성Host : 11 core, 36GB1.2M document IndexedMetriccpu usage (1분간 점유한 코어 개수 평균)virtual memoryrss (physical memory allocated)file IOIndex Create"embedding": { "type": "knn_vector", "dimension": 1..