시그모이드 함수 장단점- s자 형태 - 출력값의 부드러운 변화- 비선형 함수로 효과적인 학습- 입력값을 0-1 사이의 확률값으로 변환 가능, 이진 분류 easy- 그래디언트가 작아져 손실될 우려 가능성 존재- 출력값 평균이 0.5가 되는 특징을 가짐 --> 0.5 중심이 되지 않는 경우 학습 못할 가능성 존재ReLU 함수 장단점- 입력이 0을 남으면 그대로 출력- 0 이하면 입력을 출력하는 함수- 양수에는 포화가 발생되지 않음- exp 연산이 없어서 빠르다- 0 중심이 아니기에 지그재그가 될 수 있는 문제
