스터디 기록장

작년 12월 이후부터 준비했던 취준을 끝으로, 드디어 가고 싶었던 회사에 합격했다. 해당 기간동안 했던 고민들과 준비했던 과정들을 한번 돌아보면서 글로 한번 적어보자해당 경험은 정말 주관적인 의견이 들어가있으니, 필자는 이렇게 준비했고 고민했구나 정도만 알아두셨으면 좋겠다. 코테사실 그전까지 PS를 열심히 준비해본적이 없어서, 가장 먼저 해야하는 부분이라고 생각했다. 그렇다고 전공 때 배웠던, 기초적인 자료구조나 알고리즘을 처음부터 다시 하는건 너무 시간이 아까웠다.때문에 취준 기간동안 하루에 한 문제씩 꾸준히 풀었던것 같다.동시에, 다양한 문제를 풀어보려고 리트코드, 프로그래머스, 백준 이렇게 여러 사이트를 통해서 준비했다. https://leetcode.com/problemset/https://s..

GPT-2 layer를 구현한 이후에, 실제 학습을 위한 optimizer 구현You will further implement the step() function of the Adam Optimizer based on Decoupled Weight Decay Regularization and Adam: A Method for Stochastic Optimization in order to train a sentiment classifier. Decoupled Weight Decay Regularization 및 Adam: A Method for Stochastic Optimization에 기반해서 AdamW optimizer를 직접 구현Adam Optimzer Adam은 SGD 기반의 옵티마이저로, 각각..

ACME dns-01Let’s Encrypt는 도메인 소유권을 검증하기 위해 여러 인증 방식을 지원그중 dns-01 challenge는 다음 절차를 따름 인증 서버가 무작위 토큰을 발급함Certbot은 토큰과 계정 키를 조합해 CERTBOT_VALIDATION 값을 생성도메인의 _acme-challenge.example.com이라는 위치에 TXT 레코드를 등록Let’s Encrypt 서버는 등록된 TXT 레코드를 DNS 쿼리를 통해 직접 조회하여, 해당 토큰 값이 정확히 존재하는지 확인성공 시 도메인 소유가 인증되고 인증서 발급이 진행“Wildcard certificates can only be requested via DNS challenge.”— Let’s Encrypt FAQ문제 상황이 방식은 도메..

해당 프로젝트에서 GPT-2 모델을 구현하면서, 핵심 컴포턴트인, attention layer, postion embedding을 직접 구현이후 HuggingFace에서 제공하는 pretrained weight를 로드해서 downstream task에 적용CS 224N final projectyou will build GPT-2, the precursor of OpenAI’s ChatGPT language model. Specifically, you will implement some of the most important components of the architecture, load the official model weights from HuggingFace into your implementat..