garret

RNN 공부 기록 Vanilla RNN (Simple RNN) 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 특징 : 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로 보내면서 다시 은닉층 노드의 다음 계산의 입력으로 보낸다 x : 입력층의 입력벡터 y : 출력층의 출력벡터 RNN 셀 : 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드, 이전의 값을 기억하려고 하는 일종의 메모리 역할 수행 은닉층의 RNN 셀: 각각의 time step에서 바로 이전 time step에서의 은닉층의 메모리 셀에서 나온 값을 자신의 입력으로 사용 hidden state : 메모리 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값 RNN 종류 one-to-many : 하나의..

NLP의 word Embedding 공부기록 자연어 처리에서 특징 추출을 통해 수치화할 때 사용하는 언어의 벡터화 Word Embedding : 벡터화의 과정 The curse of dimensionality 데이터 학습을 위해 차원이 증가하면서 학습데이터 수가 차원의 수보다 적어져 성능이 저하되는 현상 차원이 증가할수록 개별 차원 내 학습할 데이터 수가 적어지는(sparse) 현상 발생 Word Embedding의 종류 1. Sparse one-hot encoding : 공간적 낭비 발생, 단어 의미 표현 못함 2. Dense 단어빈도 기준으로 벡터화 1) CountVectorizer : 각 텍스트에서 횟수 기준으로 특징 추출 2) TfidVectorizer : TF-IDF 이용해 텍스트 데이터의 특징..

LightGBM 1) 리프 중심 트리 분할(Leaf Wise) 방식 사용. :트리의 균형을 맞추지 않고 최대손실값(max delta loss)을 가지는 리프 노드를 지속적으로 분할하며 트리의 깊이가 깊어지고 비대칭적 규칙 트리 생성. 최대 손실값을 가지는 리프 노드를 지속적으로 분할해 생성된 규칙 트리는 학습을 반복할수록 균형 트리 분할 방식보다 예측 오류 손실 최소화 가능. 2) GBDT (gradient boosting decision tree) : ensemble model of decision trees. GBDT learns the decision trees by fitting the negative gradients.(also known as residual errors. ) https://n..