수치미분에 해당하는 글 1

Machine Learning 용어 정리

Study/Deep Learning|2019. 4. 17. 00:27
728x90
반응형

먼저 공부하고 있는 순으로 계속해서 정리하도록 하겠습니다. 

 

- 인코딩  원소만 1 하고  외에는 0으로 나타내는 표기법
평균 제곱오차(mean squared error, MSE)

1/2 sigma k는 (yk - tk)의 제곱 

각 원소의 출력(추정값)과 정답 레이블(참 값)의 차(yk -tk)를 제곱한 후 그 총합을 구하는 것

오버피팅(overfitting)  데이터셋에만 지나치게 최적화된 상태(매우 중요)
범용능력 아직 보지 못한 데이터(훈련 데이터에 포함되지 않는 데이터)로도 문제를 올바르게 풀어내는 능력
딥러닝 종단간 기계학습(end to end machine learning) <- 이렇게도 불리더군요. 
손실함수(loss function) 신경망 합습에서 사용하는 지표(신경망도 '하나의 지표' 기준으로 최적의 매개변수 값을 탐색함)
교체 엔트로피 오차(cross entropy error, CEE)  E = -sigma k  tklogyk
미니배치 mini batch 데이터가 많을 경우 데이터 일부를 추려 전체의 '근사치'로 이용(일부만 골라서 학습) 그 일부를 미니 배치라 함
수치미분 \
   

#평균제곱오차알고리즘(python) 

def mean_squared_error(y, t):
	return 0.5 * np.sum((y-2)**2)

#교차엔트로피오차알고리즘(python)

def cross_entropy_error(y, t):
	delta = 1e-7
    return -np.sum(t * np.log(y + delta))

#수치미분(numerical differentiation)

def numerical_diff(f, x):
	h = 1e-4 #0.0001
    return (f(x+h) - f(x-h)) / (2*h)

## '해석적 미분'은 우리가 수학시간에 배운 미분이고, '수치미분'은 이를 '근사치'로 계산하는 방법임

 

 

 

728x90
반응형

'Study > Deep Learning' 카테고리의 다른 글

vscode tensorflow install 오류  (0) 2023.03.20
미적분이란?  (0) 2023.03.16
선형대수의 개념  (0) 2023.03.16
딥러닝 학습방법 및 공부방법  (0) 2023.03.15
Deep Learning 구조도  (0) 2019.05.13

댓글()