분류 전체보기56 MiniRAG: Extremely Simple Retrieval-Augmented Generation 논문 리뷰 ABSTRACT & INTRODUCTION문제 의식 (Problem Statement)기존 RAG 프레임워크는 주로 LLM(Large Language Models)에 의존하고 있어, 자원이 제한된 환경(엣지 디바이스 등)에서 SLM(Small Language Models)을 사용할 때 심각한 성능 저하가 발생한다.SLM은 복잡한 의미 이해(Semantic Understanding)와 텍스트 처리 능력이 부족하여 기존의 정교한 RAG 파이프라인(LightRAG, GraphRAG 등)을 소화하지 못한다.MiniRAG의 목표SLM의 제약 사항(제한된 추론 능력)을 고려하여 극도로 단순하고 효율적인 RAG 시스템을 설계한다.SLM이 복잡한 의미 이해는 못 해도 패턴 매칭은 잘한다는 점에 착안한다.핵심 솔루션복잡.. 2026. 1. 6. Parallel Scaling Law for Language Models 논문 리뷰 링크https://arxiv.org/abs/2505.10475 Parallel Scaling Law for Language ModelsIt is commonly believed that scaling language models should commit a significant space or time cost, by increasing the parameters (parameter scaling) or output tokens (inference-time scaling). We introduce the third and more inference-efficient scaling pararxiv.orghttps://github.com/QwenLM/ParScale GitHub - QwenLM/ParScal.. 2025. 10. 6. Training Large Language Models to Reason in a Continuous Latent Space 논문 리뷰 소개24년 12월 Meta에서 발표한 논문으로, 사람이 생각을 머릿속으로 하는 것처럼, LLM도 Reasoning을 토큰으로 출력하는 대신 Latent Space에서 수행할 수 있도록 하는 방법론인 COCONUT을 제안합니다.0. AbstractLLM이 일반적으로 chain-of-thought (CoT)를 사용할 때, “언어 공간"에서만 추론 과정을 표현할 수 있다.그러나, 언어 공간이 추론에 항상 최적인 것은 아닐 수 있다. 대부분의 토큰은 텍스트 일관성을 위한 것이며 추론에 필수적이지 않고, 일부 토큰만이 reasoning에 중요한 역할을 한다.COCONUT: 자연어 대신 잠재 공간에서 LLM이 추론하게하자.가능성이 있는 여러 다음 추론 단계를 인코딩할 수 있도록 하여 BFS(너비 우선 탐색)처럼 추.. 2025. 5. 1. 네이버 부스트캠프 AI Tech 7기 수료 및 회고 수료네이버 부스트캠프 AI Tech 7기 NLP 트랙을 수료했다. 작년 8월부터 2월까지의 긴 여정을 마무리했다. 교육 과정은 즐거웠고 성과도 좋았다. 4개의 프로젝트 중 2번에서 1~2등을 달성했고, 2번은 중상위권을 달성했다. 동료들에게 인정받고 기회도 많이 받았다. 팀 내에서는 나를 팀장으로 세우고 지지해줬고, 다음 프로젝트에서 같이 하고싶다는 타 팀의 제안이나 스터디 제안을 받았고, 운영진에서는 발표 기회나 모의 면접 등의 기회를 주셨다. 최종 프로젝트기업 연계 해커톤(최종 프로젝트)가 시작되었고, 내가 하고싶은 주제를 양보하고 팀원들이 원하는 주제를 선택하도록 했다. 조금 지쳐있는 상태에서 원하지 않았던 프로젝트 주제를 열심히 하기 힘들었다. 그래도 함께하는 팀원들이 좋았고, 기간이 얼마 남지.. 2025. 3. 3. [TWIL] 12월 4주차 This Week네이버 부스트캠프 AI Tech 19주차강의 & 세션이번 주차는 최적화/경량화에 관한 내용이다. NLP 트랙에서는 앞서 배웠던 개념과 겹치는 내용이나 유사한 내용이 많아 쉽게 들을 수 있었다. 강의 키워드는 다음과 같다. Pruning: 신경망 모델에서, 노드(뉴런)나 연결(시냅스)을 제거하여 모델의 크기와 계산 비용을 줄이는 기법Knowledge Distillation: 고성능의 Teacher 모델로부터 지식을 전달 받아서 Student 모델을 학습 시키는 기법Quantization: 숫자의 정밀도(precision)을 낮추는 최적화 및 경량화 기법으로 계산 속도 향상, 메모리 사용량 감소에 기여PEFT: 모델 전체 parameter를 학습하는 FT와는 다르게 필요한 일부분을 학습하는.. 2024. 12. 27. AI Research Engineer 모의 면접 후기 네이버 부스트캠프 AI Tech에서 "NAVER Cloud 초거대 AI 에이전트 연구 기술 지원을 위한 AI Research Engineer" 라는 채용 공고에 대한 모의면접을 진행했다. 변성윤 마스터님께서 진행하시는 '두런두런'이라는 프로그램 내에서 지원자가 원하는 공고와 자신의 이력서를 제출하여 진행했던 내용이며 약 20분간 진행되었다. 아쉬운 점전반적으로 아쉬웠던 점은 꼬리 질문 위주의 압박 면접에 대해 전혀 준비되지 않았고, 평소보다 과하게 긴장했던 점이다. 이 때문에 면접 과정에서 말리기 시작했다. 또한 답변을 너무 건조하게 준비했던 것 같다. 이력서를 작성하고 피드백하는 과정에서 구구절절함을 덜어내고 최대한 건조하게 작성하려고 노력했는데, 그런 태도가 면접 준비까지 이어진 것 같다. 그러나 면.. 2024. 12. 18. 이전 1 2 3 4 ··· 10 다음 728x90
