Swish 활성화 함수 1. 개요 Swish는 Google Brain 팀이 제안한 자기 게이팅(Self-Gating) 메커니즘 기반의 비선형 활성화 함수로, 깊은 신경망에서 ReLU(Rectified Linear Unit)보다 더 나은 성능을 보이기 위해 설계되었습니다. Swish 함수는 입력값 에 시그모이드(Sigmoid) 함수를 곱한 형태로 정의되며, …
검색 결과
"Activation Functions"에 대한 검색 결과 (총 1개)
"Activation Functions"에 대한 검색 결과 (총 1개)
Swish 활성화 함수 1. 개요 Swish는 Google Brain 팀이 제안한 자기 게이팅(Self-Gating) 메커니즘 기반의 비선형 활성화 함수로, 깊은 신경망에서 ReLU(Rectified Linear Unit)보다 더 나은 성능을 보이기 위해 설계되었습니다. Swish 함수는 입력값 에 시그모이드(Sigmoid) 함수를 곱한 형태로 정의되며, …