반응형 분류 전체보기54 [TWIL] 9월 1주차 스터디 This Week네이버 부스트캠프 AI Tech 5주차요즘 멘토님이 알고리즘 문제 상황을 정의해주고 풀어보라고 공유해주시는데 그 과정이 코딩 인터뷰 과정 같아서 생각할 부분이 많아 좋다.이번 주는 위상 정렬 알고리즘 문제를 다뤘다. 이름이 주는 위압감에 비해 단순한 알고리즘이다. 과제하느라 시간을 많이 쏟았다. Attention Mechanism을 구현하는 과제였는데, 행렬 연산이 아직 미숙하다.행렬 연산에 좀 더 익숙해질 필요가 있어서 주말을 활용하여 과제했던 내용과 행렬 연산 부분을 정리 중이다. 어짜피 Transformer 모델은 꾸준히 나오는 내용이니까 조급해 하지말고 조금씩 살을 붙여가며 공부하자. Text Analytics (고려대 강필성 교수님) 강의이번 주는 강의를 2개 들었고, 남은.. 2024. 9. 8. [회고] 2024년 8월 8월 한 것부스트캠프 AI Tech 7기 1~4 주차(매주 학습했던 내용 중 중요하거나 정리하고 싶은 토픽 하나를 골라 정리하고 있다.)네이버 부스트캠프 AI Tech 7기내가 가장 시간과 에너지를 많이 쏟고 있는 메인 일정이다. 8월부터 2월까지의 교육 중 첫 한달이 마무리되었다.교육의 질과 일정은 참 만족스럽지만 아쉬운 점이 있다면, 세션이 많아 공부할 시간이 부족한 구간이 생긴다는 점? 그래서 매일 같은 양을 할당하면 절대 안되고, 여유될 때 미리미리 해치워야 하는 점이 있다.스스로에 대한 한달을 평가했을 때 70점 정도 주고 싶다.잘한 점팀원들과 친해졌고 서로 학습 내용을 공유하며 도움을 주고받고 있다는 점(나의 노력보단 팀원들의 노력이 컸지만)운동이나 취미 생활과 병행하면서 밀리지 않고 일정을 .. 2024. 9. 3. [TWIL] 8월 4주차 스터디 This Week네이버 부스트캠프 AI Tech 4주차팀원들과 많이 친해졌다. 사담도 나누고 학습 내용도 공유할 수 있는 동료가 생겨서 좋다.이번 주는 깃허브 특강이 있어 많은 양을 공부하지는 못했다. 다음 주는 좀 더 개인 공부할 시간이 많으니 더 열심히 해야겠다. [NLP] Word Embedding - Word2Vec (CBOW vs Skip-gram)밑바닥부터 시작하는 딥러닝 2팀원이 이 책을 사서 공부한 내용을 정리한 포스팅을 보고 내용이 괜찮은 것 같아 전자 도서관에서 빌려 보고 있다.이번 주는 Word2Vec이랑 RNN 부분 참고하였다.처음부터 끝까지 쭉 보지는 않을 것 같고(이미 정주행하는 강의도 있고) 잘 이해가 안되나 참고 자료 필요한 부분 발췌하여 참고용으로 공부할 것 같다. Te.. 2024. 9. 3. [NLP] Word Embedding - Word2Vec (CBOW vs Skip-gram) Word EmbeddingOne-Hot Encoding단어를 Categorical variable로 Encoding한 벡터로 표현단어는 하나의 차원이 각각의 단어를 뜻하도록 표현할 수 있음 (다른 모든 차원은 0인 Sparse representation)단어들 간의 내적은 항상 0이며, 유클리드 거리는 항상 $\sqrt2$Distributed Vector (Dense Vector)원-핫 인코딩의 문제점: 희소 표현(sparse representation)단어의 의미를 다차원 공간에 0이 아닌 값의 형태로 표현(벡터화): 분산 표현(distributed representation)비슷한 문맥에서 등장하는 단어들은 비슷한 의미를 가진다는 분포 가설(distributional hypothesis)을 따름유클리.. 2024. 8. 29. [강의노트] 06-2 Dimensionality Reduction Part 2 (LSA & t-SNE) 위 강의노트는 고려대학교 산업경영공학부 대학원 강필성 교수님의 비정형데이터분석 (Text Analytics)을 듣고 정리한 강의노트입니다.Feature Extraction: LSA & t-SNESingular Value Decomposition: SVD실수 행렬 또는 복소 행렬의 분해 (A factorization of a real or complex matrix)m by n (m > n) 크기의 직사각 TDM 행렬 A$$ A = U \Sigma V^T $$Properties of SVD (SVD의 특성)행렬 U와 V는 직교행렬 (Singular vectors of the matrix U and V are orthogonal)$$ U^TU = V^TV = I$$$\Sigma$ 의 특이값 (positive.. 2024. 8. 26. [강의 노트] 06-1 Dimensionality Reduction Part 1 (Variable Selection) 위 강의노트는 고려대학교 산업경영공학부 대학원 강필성 교수님의비정형데이터분석 (Text Analytics) 을 듣고 정리한 강의노트입니다.Dimensionality ReductionCommon features of text data일반적으로 전부 Bag-of-words 방식으로 표현된 Document는 매우 많은 수의 terms(words)를 가지고 있음그중 일부만인 text mining task에 relevant하다Problem 1: High dimensionality (N.terms >> N.documents)통계학적인 관점에서 관측치의 수가 최소한 변수의 수보다는 많아야 다중 공산성과 같은 여러 통계적 가정을 만족할 가능성이 있음 -> 전통적인 통계적 방법론을 사용하기에 무리가 있다Problem 2.. 2024. 8. 26. 이전 1 2 3 4 5 ··· 9 다음 반응형
