계단 함수(step Function)와 시그모이드(Sigmoid)

계단 함수(Step Function)

이전 시간에 뉴런의 입력 신호에 대해 알아보면서 임계치보다 크면 반응하고 작으면 반응하지 않는다고하여 '반응 조건'을 나타내는 표현에 대해 살펴보았습니다.

위의 식을 시각화하여 그래프로 나타내면 아래와 같이 표현이 됩니다.

이를 일반화하여 이산 변수 t에 대한 함수로 나타내면 [식 1-2]와 같으며 이때 t는 정수입니다.

이처럼 0보다 작은 실수에 대해서는 0, 0보다 큰 실수에 대해서는 1을 갖는 함수를 우리는 '단위 계단 함수'라고 부르고 있습니다.

단위 계단 함수 u(t)를 이용해서 [식 1-1]을 다음과 같은 하나의 식으로 표현할 수 있습니다.

위의 단위 계단 함수에서 인수를 나타내는 t를 우리는 뉴런의 가중 입력이라고 부릅니다.

시그모이드(Sigmoid)

활성화 함수(Activation Function)의 대표적인 함수가 시그모이드(Sigmoid) 함수입니다. 통계학에서도 Logistic 분포, Normal 분포, t-분포에서도 시그모이드 곡선이 자주 등장하는데 어떤 사건이 일어날 가능성을 확률로 표현한 것이라 할 수 있습니다. 시그모이드는 S자형 곡선을 갖는 수학 함수로 아래의 수식으로 정의됩니다.

시그모이드 함수는 2가지 특징을 가지게되는데 다음과 같습니다.

- 성공과 실패를 구분하는 부분은 경사가 급하고 나머지 부분에서는 경사가 완만하다.

- y=1, y=0 두 평행선이 점근선이고 치역은 (0,1)이다. 즉 위와 같은 활성 함수의 함숫 값은 성공 확률이라는 의미로 해석할 수 있다. (1을 특정 조건에 대한 성공이라고 정의하였다면 성공 확률로 해석한다.)

가장 중요한 특징은 연속적인 구간에서 미분 가능한 형태를 뛴다는 점이며 함수 곡선의 형태나 특징에서 알 수 있듯이 시그모이드 곡선에서 x 값을 구하게되면 확률 P의 값을 얻을 수 있게 되는 것이죠. 여기서 P란 어떤 사건이 일어날 확률을 의미하며 시그모이드 함수를 Odds Ratio로 표현합니다.

- 일어날 확률 : P(X)

- 일어나지 않을 확률 : 1 - P(X)

- 0 ≤ P(X) ≤1

※ Odds Ratio : 어떤 사건이 일어날 확률과 일어나지 않을 확률의 비율