스터디 기록장

GPT-2 layer를 구현한 이후에, 실제 학습을 위한 optimizer 구현You will further implement the step() function of the Adam Optimizer based on Decoupled Weight Decay Regularization and Adam: A Method for Stochastic Optimization in order to train a sentiment classifier. Decoupled Weight Decay Regularization 및 Adam: A Method for Stochastic Optimization에 기반해서 AdamW optimizer를 직접 구현Adam Optimzer Adam은 SGD 기반의 옵티마이저로, 각각..

해당 프로젝트에서 GPT-2 모델을 구현하면서, 핵심 컴포턴트인, attention layer, postion embedding을 직접 구현이후 HuggingFace에서 제공하는 pretrained weight를 로드해서 downstream task에 적용CS 224N final projectyou will build GPT-2, the precursor of OpenAI’s ChatGPT language model. Specifically, you will implement some of the most important components of the architecture, load the official model weights from HuggingFace into your implementat..

이전 포스팅까지 vector search를 기반으로 단어의 매칭이 아닌 embedding base retriver에 대해 작성했다. 더욱 검색 품질을 올리기 위해 어떠한 방식이 가능한지 알아보자 Vector Search는 완벽한가?벡터 기반 의미 검색에는 다음과 같은 고민을 할 수 있다임베딩 모델의 한계임베딩 모델의 출력한 벡터간의 유사도가 얼마나 의미간 유사도를 보여주나?모델의 학습 데이터와 실제 검색 데이터 간의 도메인 차이가 있을 경우 매칭이 안되지 않을까?키워드 매칭의 필요성모든 검색 쿼리가 의미적 유사성에만 의존하는 것이 적합하지는 않을까?특정 키워드를 포함한 정확한 검색 결과가 더 나은 경우도 있지 않을까? 예를 들어, 원했던 것은 "코끼리 식당"이라는 고유한 가게에 대한 결과를 원했지만, "..

이전 포스팅에서 Vector Search의 오버뷰를 정리했다. 이번에는 저장된 벡터들을 어떤식으로 저장하고 검색하는지 알아보자  Vector Store일정한 차원의 벡터 데이터들을 효과적으로 저장하고, 검색하기 위해서는 기존의 DB와는 다른 자료구조로 저장해야 하기에, 별도의 검색엔진이 필요하다. 벡터를 지원하는 검색엔진으로는 faiss, nmslib, lucene가 있는데, 이런 엔진을 기반으로 기존 RDB, Document DB에서 벡터 필드를 사용할 수 있다. 각각의 DB마다 지원하는 엔진, 지원하는 벡터 차원등이 모두 다르니 필요에 따라 솔루션을 선택한다. DB 선택 이슈  논문 정보를 저장할 vector db를 선정한다. · Issue #10 · SWM-Thlee/linked-paper-sear..