[딥러닝개론] Activation Function

• 시그모이드 함수 장단점
  - s자 형태 - 출력값의 부드러운 변화
  - 비선형 함수로 효과적인 학습
  - 입력값을 0-1 사이의 확률값으로 변환 가능, 이진 분류 easy
  
  - 그래디언트가 작아져 손실될 우려 가능성 존재
  - 출력값 평균이 0.5가 되는 특징을 가짐 --> 0.5 중심이 되지 않는 경우 학습 못할 가능성 존재
  
  
• ReLU 함수 장단점
  - 입력이 0을 남으면 그대로 출력
  - 0 이하면 입력을 출력하는 함수
  - 양수에는 포화가 발생되지 않음
  - exp 연산이 없어서 빠르다
  
  - 0 중심이 아니기에 지그재그가 될 수 있는 문제