이전에 작성한 퍼셉트론 포스팅에서 신경망이란 퍼셉트론을 여러겹 묶어놓은 것이라고 하였는데요. 신경망은 크게 입력층, 은닉층(중간층), 출력층 3개로 구분합니다. 각 유닛별로 입력 데이터에 가중치와 편향을 적용하여 연산이 이루어지고 마지막에 결과 값을 도출하게 됩니다.
계층형 신경망 구조
가중치(Weight)와 편향(Bias)은 앞으로 자주 다루게 될 것이므로 이번 시간에 좀 더 살펴보도록 하겠습니다.
가중치(Weight)
입력층 데이터를 다음 노드로 넘길 때 중요도(=가중치)를 적용한다라고 생각하시면 됩니다. 가중치가 필요한 이유는 가중치가 없을 경우를 생각해보시면 쉽게 이해할 수 있습니다. 신경망을 구성하였지만 만약 가중치(=중요도)가 없다면 다음 층에서 각 노드별 계속 같은 값이 나올 겁니다. 이해를 돕기 위해 아래의 이미지로 표현해보았습니다.
예시 : 가중치가 없을 때 다음 층에서 모두 같은 값이 나옴
따라서 각 유닛별 입력 데이터에 대해 가중치(\(w_{0}, w_{1}, w_{2}, ..., w_{n}\))를 적용하는 것입니다. 예시를 하나 들어보도록 하겠습니다.
금주 로또 1등 상금을 예측해본다고 가정합니다. 상금 예측을 위해서는 학습 데이터가 필요할 것이고 최근 6회차에 대한 1등 상금 정보가 바로 입력 데이터가 됩니다. 1등 당첨자수, 1등 번호 패턴 등에 따라 몇 명이 1등에 당첨될지, 상금이 얼마일지 알 수 있겠지만 본 예시에서는 그냥 가장 최근 정보(1등 상금)에 대한 중요도가 높다고 가정하겠습니다. 각 회차별 1등 상금 정보가 있고 최근 정보에 대한 중요도가 높다고 할 때(예시 이미지에서는 색깔이 진할수록) 이것이 가중치(W, Weight)라고 이해하시면 됩니다.
편향(Bias)
활성화 함수에서 임계치 θ 앞에 마이너스 기호가 있다면 계산 실수를 범하기 쉬우므로 -θ 를 b로 치환합니다. 이것이 바로 편향(Bias)으로 노드의 민감도를 조절해주는 역할을 합니다. 이 역시 예시를 하나 들어보겠습니다.
결혼을 고민하는 'A'와 'B'씨가 있다고 했을 때 결혼 전 생각해볼 것들과 중요도입니다. 차, 모아둔 돈, 집, 일, 사랑 등 다양한 조건들에 대한 중요도(가중치)는 'A'와 'B'씨 모두 같다고 가정해봅시다. 이때 'A'씨는 서로 사랑한다면 바로 결혼하고 싶은 스타일이기에 나머지 조건들은 결혼 후 하나씩 꾸려 나가려고 한다면 'B'씨는 삶의 여유를 좀 더 추구하여 집, 모아둔 돈 등 결혼 전 조금이라도 더 준비를 하고 결혼 생활을 하고 싶어 합니다. 이럴 경우 당연히 'A'와 'B'씨는 똑같은 값을 낼 수 없겠죠? 이럴 경우 추가해주는 것이 바로 편향(=성향, b)이라는 값이라고 생각하시면 됩니다. 결국 신경망 구조의 마지막은 가중치(Weight)와 편향(Bias)에 의해서 결정되는 것이죠.
이상으로 가중치와 편향에 대해 조금더 이해해보는 시간을 가졌습니다.
※ 이 글이 도움이 되었다면 "🤍공감" 버튼을 클릭해주세요. 클릭 한번이 글 쓰는데 큰 힘이 됩니다.
