활성화 함수

b = -θ : 편향(bias)이고, a = w1x1 + w2x2 + b 이때, y의 값은 h(w1x1+w2x2+b)로 결정된다.

Heaviside 함수는 step 함수로, 값이 0과 1로만 이루어진 함수이다.

머신러닝에서 학습은 미분을 통해 이루어진다. 하지만, Heaviside 함수는 미분 값이 항상 0이기 때문에, 다른 활성화 함수를 사용한다.

함수를 그래프로 표현한 것이다. 정확한 그래프은 아니니, 자세한 그래프는 밑에 코드를 참조하길 바란다.

step_function() Heaviside 함수를 표현한 것이다.

위 코드에서 확인할 수 있듯이, step_function()은 0,1인 값만 나오고, sigmoid()은 연속적인 값을 가진다.

계단 함수 그래프

matplotlib은 그림 그리는 라이브러리이다.

이때 np.arange는 범위를 나타내는 것이다.

np.arange(5)  #0~4인 정수
np.arange(-5,5)  #-5~4인 정수
np.arange(-5.0,5.0,0.1) # 공차가 0.1

Sigmoid 함수 그래프

ReLU 함수 그래프

교재 : 밑바닥부터 시작하는 딥러닝 (저자 : 사이토 고키 / 번역 : 이복연 / 출판사 : 한빛미디어)

https://www.hanbit.co.kr/store/books/...

코드 : https://github.com/WegraLee/deep-lear...

강좌 홈페이지 : https://sites.google.com/site/kyungho...