스터디 기록장

이전 포스팅에서 Vector Search의 오버뷰를 정리했다. 이번에는 저장된 벡터들을 어떤식으로 저장하고 검색하는지 알아보자  Vector Store일정한 차원의 벡터 데이터들을 효과적으로 저장하고, 검색하기 위해서는 기존의 DB와는 다른 자료구조로 저장해야 하기에, 별도의 검색엔진이 필요하다. 벡터를 지원하는 검색엔진으로는 faiss, nmslib, lucene가 있는데, 이런 엔진을 기반으로 기존 RDB, Document DB에서 벡터 필드를 사용할 수 있다. 각각의 DB마다 지원하는 엔진, 지원하는 벡터 차원등이 모두 다르니 필요에 따라 솔루션을 선택한다. DB 선택 이슈  논문 정보를 저장할 vector db를 선정한다. · Issue #10 · SWM-Thlee/linked-paper-sear..

전통적인 검색기존 검색이라고 한다면, text matching이 기본이 된다. 가장 유명한 알고리즘은 BM25으로 검색어가 문서에 얼마나 반복하여 등장하는지를 기준으로 가장 관련성 있는 문서의 score를 계산하게 된다. 이에 전통적인 검색엔진인 elastic search에서는 bm25를 기반으로 full text query를 지원한다. Semantic Search (의미 검색)문장의 유사도를 통해 검색어와 검색 결과가 유사한지를 활용해 검색에 활용한다. 예를 들어, 검색어로 most delicious fruit 을 검색한다면, 같은 임베딩 모델을 거친 apple, banana, peach가 유사한 의미로 벡터 공간상에 위치하게 된다.  그림상에는 단순히 2차원 상의 벡터 차원으로 추상화 했지만, 모델에..

소마 마무리하던 9월 말쯤 AWS Cloud Support Intern 포지션이 열렸다. 소마 프로젝트에서 인프라를 깊게 하다보니, SA, CS 포지션에 관심이 생겨서 한번 지원해보았다.Resume 작성첫 레주메 작성인데다가 영문으로 작성해야 했기에 상당히 어려웠다.  JD에서 요구한 사항을 한장에서 두장 내에 녹여냈어야 했는데, 소마에서 인프라 관련 설계 및 트러블 슈팅 과정교내 서버 관리자로 온프레미스 환경 구축 및 관리이 두 가지 경험을 메인으로 작성했던 것 같다.  Assessment 지원한 뒤 일주일 뒤에 바로 assessment 전형에 대한 알림이 왔다. 온라인으로 내가 원하는 시간대에 완료하면 되고 Cloud Support 업무 간단한 시뮬레이션내 업무 성향을 확인하는 적성 검사이 두 가지를..

시작4월부터 시작했던 소마는 6월까지는 팀빌딩과 기획으로 학교와 병행했다.핏이 잘 맞는 팀원들을 만나 순조롭게 진행되는 것 같았다. 다만  본격적인 개발 시작 즈음, 팀원분의 조기 취업으로 프로젝트를 FE 팀원과 둘이서 진행하게 되었다... 기획, 개발, 운영까지 해야하는 상황에서 두명에서 진행하기엔 쉽지 않아 보였다. 다행이 다른 팀원분과 둘이서라도 으쌰으쌰 완성해보기로 했다.기획기획단계에서 주제를 잡는 것 부터 난항을 겪었다.개발자만 모여서 기획을 진행하다보니, 사용자가 필요한 서비스를 만드는 것, 서비스를 만들면서 성장할 수 있는 주제를 선정하기 위해 고민했던 것 같다  아이디어 기획시 고려했던 사항사용자가 가지고 있는 페인포인트가 무엇인가?기존 서비스와 차별성을 갖는 어떤 기능으로 페인포인트를 해..