Hot
-
네이버 부스트캠프 AI Tech 7기 합격 후기
지원네이버 부스트캠프 AI Tech 7기 NLP에 지원하고 최종 합격했다.교육 일정이 2024년 8월 5일(월) ~ 2025년 2월 12일(수)이기 때문에 한학기 휴학하며 교육듣고 복학하는 일정이 이쁘게 나왔다.그리고 이전 부스트캠프 후기와 프리코스를 둘러보았을 때, 좋은 후기와 탄탄한 과정의 커리큘럼이 맘에 들었다.1.일정 2.프리코스 퀄리티 3.전 기수 후기 삼박자가 맞아 지원하게 되었다.프리코스인공지능 기초 다지기 (부스트캠프 AI Tech 7기 프리코스)지원 전 프리코스를 미리 수강할 수 있었다.파이썬 - 수학 - 딥러닝 순으로 진행되는 코스로 기초적인 내용 위주로 구성되어있다.나는 파이썬은 이미 알고 있기 때문에 건너뛰었고, 수학과 딥러닝 코스만 수강하였다.앞서 이야기했듯이 프리코스 퀄리티가 좋..
2024.07.31
-
네이버 부스트캠프 AI Tech 7기 수료 및 회고
수료네이버 부스트캠프 AI Tech 7기 NLP 트랙을 수료했다. 작년 8월부터 2월까지의 긴 여정을 마무리했다. 교육 과정은 즐거웠고 성과도 좋았다. 4개의 프로젝트 중 2번에서 1~2등을 달성했고, 2번은 중상위권을 달성했다. 동료들에게 인정받고 기회도 많이 받았다. 팀 내에서는 나를 팀장으로 세우고 지지해줬고, 다음 프로젝트에서 같이 하고싶다는 타 팀의 제안이나 스터디 제안을 받았고, 운영진에서는 발표 기회나 모의 면접 등의 기회를 주셨다. 최종 프로젝트기업 연계 해커톤(최종 프로젝트)가 시작되었고, 내가 하고싶은 주제를 양보하고 팀원들이 원하는 주제를 선택하도록 했다. 조금 지쳐있는 상태에서 원하지 않았던 프로젝트 주제를 열심히 하기 힘들었다. 그래도 함께하는 팀원들이 좋았고, 기간이 얼마 남지..
2025.03.03
-
네이버 부스트캠프 AI Tech 7기 Level1 STS Competition 프로젝트 최종 리포트
Level1를 마무리하는 프로젝트로 진행했던 STS(Semantic Text Similarity) 대회가 끝났다.우리 팀에서는 기록보다는 end-to-end로 경험하는 것을 목표로 하며 하고 싶은 파트를 자유롭게 진행했다.NLP 코스의 첫 프로젝트에서 어떤 시행착오를 겪었으며, 무엇을 배웠고, 아쉬웠던 점을 차례로 작성하고자 한다.대회 소개특징설명목표의미 유사도 판별(Semantic Text Similarity, STS): 두 문장이 의미적으로 얼마나 유사한지를 수치화하는 자연어처리 태스크평가지표피어슨 상관 계수(두 변수 X 와 Y 간의 선형 상관 관계를 계량화한 수치)를 사용규칙일일 제출횟수는 '팀 단위 10회'로 제한 외부 데이터셋 사용 금지기간2024.09.11 10:00~2024.09.26 19:..
2024.09.27
Lastest
-
Training Large Language Models to Reason in a Continuous Latent Space 논문 리뷰
소개24년 12월 Meta에서 발표한 논문으로, 사람이 생각을 머릿속으로 하는 것처럼, LLM도 Reasoning을 토큰으로 출력하는 대신 Latent Space에서 수행할 수 있도록 하는 방법론인 COCONUT을 제안합니다.0. AbstractLLM이 일반적으로 chain-of-thought (CoT)를 사용할 때, “언어 공간"에서만 추론 과정을 표현할 수 있다.그러나, 언어 공간이 추론에 항상 최적인 것은 아닐 수 있다. 대부분의 토큰은 텍스트 일관성을 위한 것이며 추론에 필수적이지 않고, 일부 토큰만이 reasoning에 중요한 역할을 한다.COCONUT: 자연어 대신 잠재 공간에서 LLM이 추론하게하자.가능성이 있는 여러 다음 추론 단계를 인코딩할 수 있도록 하여 BFS(너비 우선 탐색)처럼 추..
2025.05.01
-
네이버 부스트캠프 AI Tech 7기 수료 및 회고
수료네이버 부스트캠프 AI Tech 7기 NLP 트랙을 수료했다. 작년 8월부터 2월까지의 긴 여정을 마무리했다. 교육 과정은 즐거웠고 성과도 좋았다. 4개의 프로젝트 중 2번에서 1~2등을 달성했고, 2번은 중상위권을 달성했다. 동료들에게 인정받고 기회도 많이 받았다. 팀 내에서는 나를 팀장으로 세우고 지지해줬고, 다음 프로젝트에서 같이 하고싶다는 타 팀의 제안이나 스터디 제안을 받았고, 운영진에서는 발표 기회나 모의 면접 등의 기회를 주셨다. 최종 프로젝트기업 연계 해커톤(최종 프로젝트)가 시작되었고, 내가 하고싶은 주제를 양보하고 팀원들이 원하는 주제를 선택하도록 했다. 조금 지쳐있는 상태에서 원하지 않았던 프로젝트 주제를 열심히 하기 힘들었다. 그래도 함께하는 팀원들이 좋았고, 기간이 얼마 남지..
2025.03.03
-
[TWIL] 12월 4주차
This Week네이버 부스트캠프 AI Tech 19주차강의 & 세션이번 주차는 최적화/경량화에 관한 내용이다. NLP 트랙에서는 앞서 배웠던 개념과 겹치는 내용이나 유사한 내용이 많아 쉽게 들을 수 있었다. 강의 키워드는 다음과 같다. Pruning: 신경망 모델에서, 노드(뉴런)나 연결(시냅스)을 제거하여 모델의 크기와 계산 비용을 줄이는 기법Knowledge Distillation: 고성능의 Teacher 모델로부터 지식을 전달 받아서 Student 모델을 학습 시키는 기법Quantization: 숫자의 정밀도(precision)을 낮추는 최적화 및 경량화 기법으로 계산 속도 향상, 메모리 사용량 감소에 기여PEFT: 모델 전체 parameter를 학습하는 FT와는 다르게 필요한 일부분을 학습하는..
2024.12.27
