네이버 부스트캠프 AI Tech 7기/후기 & 회고9 [TWIL] 12월 4주차 This Week네이버 부스트캠프 AI Tech 19주차강의 & 세션이번 주차는 최적화/경량화에 관한 내용이다. NLP 트랙에서는 앞서 배웠던 개념과 겹치는 내용이나 유사한 내용이 많아 쉽게 들을 수 있었다. 강의 키워드는 다음과 같다. Pruning: 신경망 모델에서, 노드(뉴런)나 연결(시냅스)을 제거하여 모델의 크기와 계산 비용을 줄이는 기법Knowledge Distillation: 고성능의 Teacher 모델로부터 지식을 전달 받아서 Student 모델을 학습 시키는 기법Quantization: 숫자의 정밀도(precision)을 낮추는 최적화 및 경량화 기법으로 계산 속도 향상, 메모리 사용량 감소에 기여PEFT: 모델 전체 parameter를 학습하는 FT와는 다르게 필요한 일부분을 학습하는.. 2024. 12. 27. AI Research Engineer 모의 면접 후기 네이버 부스트캠프 AI Tech에서 "NAVER Cloud 초거대 AI 에이전트 연구 기술 지원을 위한 AI Research Engineer" 라는 채용 공고에 대한 모의면접을 진행했다. 변성윤 마스터님께서 진행하시는 '두런두런'이라는 프로그램 내에서 지원자가 원하는 공고와 자신의 이력서를 제출하여 진행했던 내용이며 약 20분간 진행되었다. 아쉬운 점전반적으로 아쉬웠던 점은 꼬리 질문 위주의 압박 면접에 대해 전혀 준비되지 않았고, 평소보다 과하게 긴장했던 점이다. 이 때문에 면접 과정에서 말리기 시작했다. 또한 답변을 너무 건조하게 준비했던 것 같다. 이력서를 작성하고 피드백하는 과정에서 구구절절함을 덜어내고 최대한 건조하게 작성하려고 노력했는데, 그런 태도가 면접 준비까지 이어진 것 같다. 그러나 면.. 2024. 12. 18. [네이버 부스트캠프 AI Tech 7기] Level3 수능 문제 풀이 모델 생성 프로젝트 최종 리포트 https://github.com/boostcampaitech7/level2-nlp-generationfornlp-nlp-02-lv3 GitHub - boostcampaitech7/level2-nlp-generationfornlp-nlp-02-lv3: level2-nlp-generationfornlp-nlp-02-lv3 created by GitHub Classlevel2-nlp-generationfornlp-nlp-02-lv3 created by GitHub Classroom - boostcampaitech7/level2-nlp-generationfornlp-nlp-02-lv3github.com목차0. 프로젝트 개요1. 모델 2.데이터3. 추론4. 앙상블5. 최종 제출 데이터6. 개인회고0. 프로젝트 .. 2024. 12. 3. [네이버 부스트캠프 AI Tech 7기] Level2 Data Centric - 주제 분류 프로젝트 최종 리포트 https://github.com/boostcampaitech7/level2-nlp-datacentric-nlp-04 GitHub - boostcampaitech7/level2-nlp-datacentric-nlp-04: level2-nlp-datacentric-nlp-04 created by GitHub Classroomlevel2-nlp-datacentric-nlp-04 created by GitHub Classroom - boostcampaitech7/level2-nlp-datacentric-nlp-04github.com 1. 프로젝트 개요자연어에서 독해 및 분석 과정을 거쳐 주어진 태스크를 수행하기 위해서는 자연어의 주제에 대한 이해가 필수적이다. KLUE-Topic Classification b.. 2024. 11. 10. [네이버 부스트캠프 AI Tech 7기] Level2 MRC - ODQA 프로젝트 최종 리포트 https://github.com/boostcampaitech7/level2-mrc-nlp-04 GitHub - boostcampaitech7/level2-mrc-nlp-04: level2-mrc-nlp-04 created by GitHub Classroomlevel2-mrc-nlp-04 created by GitHub Classroom. Contribute to boostcampaitech7/level2-mrc-nlp-04 development by creating an account on GitHub.github.com 0. 프로젝트 개요프로젝트 개요Question Answering(QA)는 다양한 종류의 질문에 대답하는 인공지능을 만드는 연구분야이다. 다양한 QA 시스템 중, Open-Domain .. 2024. 10. 26. [네이버 부스트캠프 AI Tech 7기] Level2 MRC - ODQA 프로젝트 2주차 회고 네이버 부스트캠프 AI Tech 9주차프로젝트지난 주차에 이어 MRC(Machine Reading Comprehension) ODQA(Open-domain Question Answering) 프로젝트를 진행하고 있다. 강의는 빠르게 지난 주에 마무리하고 이번 주는 계속 프로젝트 작업 중이다.진행했던 작업:베이스라인 간소화Elasticsearch Retriever 구현베이스라인 고도화 및 리펙토링진행했던 실험:모델 비교 실험데이터 클리닝 실험train/val 데이터셋 재분할 실험베이스라인 간소화, 고도화, 리펙토링이번 프로젝트에서 가장 주요하게 팀에 기여하는 부분이라고 생각한다.Elasticsearch Retriever 구현Elasticsearch에 플러그인으로 설치할 수 있는 noritokenizer를 .. 2024. 10. 18. 이전 1 2 다음
