코딩농장

Hot

• 

  Numpy로 직접 구현하는 Linear Regression Regression회귀 분석: 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정하는 분석 방법변수: 값이 변하는 데이터 요소 또는 속성독립변수(설명변수) : 원인(x, input)종속변수(응답변수): 결과(y, output)Linear Regression독립 변수 하나 이상 + 종속 변수 하나 의 관계를 모델링하는 통계적 방법$y=mx+b$가정선형성: 종속 변수와 독립 변수간의 관계가 선형적독립성: 관측값들은 서로 독립적 (잔차(residual, 오차의 추정치)들이 무작위 분포)등분산성: 오류의 분산이 일정 (잔차들이 일정한 분포를 보임)정규성: 오류가 정규분포를 따름최소 제곱법(OLS) 방법예측된 값 $\hat{y} = Xw$와 실제 값 y 사이의 차이(잔차)를 최소화하는 가중.. 2024.08.18

• Parallel Scaling Law for Language Models 논문 리뷰 링크https://arxiv.org/abs/2505.10475 Parallel Scaling Law for Language ModelsIt is commonly believed that scaling language models should commit a significant space or time cost, by increasing the parameters (parameter scaling) or output tokens (inference-time scaling). We introduce the third and more inference-efficient scaling pararxiv.orghttps://github.com/QwenLM/ParScale GitHub - QwenLM/ParScal.. 2025.10.06

• 

  Training Large Language Models to Reason in a Continuous Latent Space 논문 리뷰 소개24년 12월 Meta에서 발표한 논문으로, 사람이 생각을 머릿속으로 하는 것처럼, LLM도 Reasoning을 토큰으로 출력하는 대신 Latent Space에서 수행할 수 있도록 하는 방법론인 COCONUT을 제안합니다.0. AbstractLLM이 일반적으로 chain-of-thought (CoT)를 사용할 때, “언어 공간"에서만 추론 과정을 표현할 수 있다.그러나, 언어 공간이 추론에 항상 최적인 것은 아닐 수 있다. 대부분의 토큰은 텍스트 일관성을 위한 것이며 추론에 필수적이지 않고, 일부 토큰만이 reasoning에 중요한 역할을 한다.COCONUT: 자연어 대신 잠재 공간에서 LLM이 추론하게하자.가능성이 있는 여러 다음 추론 단계를 인코딩할 수 있도록 하여 BFS(너비 우선 탐색)처럼 추.. 2025.05.01

Lastest

• Parallel Scaling Law for Language Models 논문 리뷰 링크https://arxiv.org/abs/2505.10475 Parallel Scaling Law for Language ModelsIt is commonly believed that scaling language models should commit a significant space or time cost, by increasing the parameters (parameter scaling) or output tokens (inference-time scaling). We introduce the third and more inference-efficient scaling pararxiv.orghttps://github.com/QwenLM/ParScale GitHub - QwenLM/ParScal.. 2025.10.06

• 

  Training Large Language Models to Reason in a Continuous Latent Space 논문 리뷰 소개24년 12월 Meta에서 발표한 논문으로, 사람이 생각을 머릿속으로 하는 것처럼, LLM도 Reasoning을 토큰으로 출력하는 대신 Latent Space에서 수행할 수 있도록 하는 방법론인 COCONUT을 제안합니다.0. AbstractLLM이 일반적으로 chain-of-thought (CoT)를 사용할 때, “언어 공간"에서만 추론 과정을 표현할 수 있다.그러나, 언어 공간이 추론에 항상 최적인 것은 아닐 수 있다. 대부분의 토큰은 텍스트 일관성을 위한 것이며 추론에 필수적이지 않고, 일부 토큰만이 reasoning에 중요한 역할을 한다.COCONUT: 자연어 대신 잠재 공간에서 LLM이 추론하게하자.가능성이 있는 여러 다음 추론 단계를 인코딩할 수 있도록 하여 BFS(너비 우선 탐색)처럼 추.. 2025.05.01

• 네이버 부스트캠프 AI Tech 7기 수료 및 회고 수료네이버 부스트캠프 AI Tech 7기 NLP 트랙을 수료했다. 작년 8월부터 2월까지의 긴 여정을 마무리했다. 교육 과정은 즐거웠고 성과도 좋았다. 4개의 프로젝트 중 2번에서 1~2등을 달성했고, 2번은 중상위권을 달성했다. 동료들에게 인정받고 기회도 많이 받았다. 팀 내에서는 나를 팀장으로 세우고 지지해줬고, 다음 프로젝트에서 같이 하고싶다는 타 팀의 제안이나 스터디 제안을 받았고, 운영진에서는 발표 기회나 모의 면접 등의 기회를 주셨다. 최종 프로젝트기업 연계 해커톤(최종 프로젝트)가 시작되었고, 내가 하고싶은 주제를 양보하고 팀원들이 원하는 주제를 선택하도록 했다. 조금 지쳐있는 상태에서 원하지 않았던 프로젝트 주제를 열심히 하기 힘들었다. 그래도 함께하는 팀원들이 좋았고, 기간이 얼마 남지.. 2025.03.03