[TWIL] 12월 4주차

This Week

네이버 부스트캠프 AI Tech 19주차

강의 & 세션

이번 주차는 최적화/경량화에 관한 내용이다. NLP 트랙에서는 앞서 배웠던 개념과 겹치는 내용이나 유사한 내용이 많아 쉽게 들을 수 있었다. 강의 키워드는 다음과 같다.

• Pruning: 신경망 모델에서, 노드(뉴런)나 연결(시냅스)을 제거하여 모델의 크기와 계산 비용을 줄이는 기법
• Knowledge Distillation: 고성능의 Teacher 모델로부터 지식을 전달 받아서 Student 모델을 학습 시키는 기법
• Quantization: 숫자의 정밀도(precision)을 낮추는 최적화 및 경량화 기법으로 계산 속도 향상, 메모리 사용량 감소에 기여
• PEFT: 모델 전체 parameter를 학습하는 FT와는 다르게 필요한 일부분을 학습하는 기법으로, 학습 파라미터, 학습 소요 시간 감소에 효과적
• Distributed Training: 모델을 여러 개의 GPU로 분산시켜 GPU에 한 번에 들어가지 않는 큰 모델도 학습 가능하도록 하는 기법

강의 중 가장 기억에 남는 내용은 양자화 파트에서 NF4는 비선형적인 간격과 비대칭 분포를 갖는 점이였는데, 그 이유는 아래 QLoRA 논문 리뷰 글을 통해 확인할 수 있다. 잘 작성된 좋은 리뷰 글이다.
QLoRA-QLoRA-Efficient-Finetuning-of-Quantized-LLMs

기업 해커톤 기획 회의

1,2 지망으로 네이버 클라우드와 Upstage를 선택했고, 3,4 지망으로 티빙을 선택했다. 기획 단계에서부터 문제를 정의하고 해결하는 전 과정을 경험하고 싶었던 점 때문에 이렇게 직접 기획이 필요한 기업을 1,2 지망으로 지망을 선택했다. 아무래도 티빙은 CV와 Recsys 트랙에서 인기있기 때문에 3,4 지망으로 선택했을 때 가능성이 매우 적을 것이고 1,2 지망 내에서 선택될 것이라 생각했다. 이번 프로젝트를 통해 나는 스스로 납득할만한, 설득력있는 프로젝트를 만들고 싶다. 프로젝트가 즐거웠으면 좋겠고, 내가 왜 AI엔지니어가 되고자 하는지에 대한 생각이 드러났으면 좋겠다.

알고리즘 스터디

• leetcode (feat. 파이썬 알고리즘 인터뷰)
  팀원들끼리 스터디하며 매일 1~3문제씩 풀고 있다. 11장 해시 테이블까지 풀었다.
• BaekJoon (feat. solved.ac)
  팀 내에서 스터디로 진행하지는 않고 각자 원하는 분량만큼 풀고 있다.

영어 스터디

매일 아침 데일리 스크럼이 끝나면 말해보카로 영어 단어 암기 & 리스닝 연습을 한다.
매주 금요일은 2시간씩(LC 45분 / RC 75분) 토익 문제를 푼다. 내년 3월 토익 900점을 목표로 하고 있다.

클래스 101

새해 다짐으로 클래스 101 연간권을 구독했다. 영어, 촬영, 편집, 요리, 베이킹 강의를 들어보려고 한다.

Next Week

네이버 부스트캠프 AI Tech 19주차 (feat. 새고로침 데이)
알고리즘 스터디
영어 스터디