LeakyReLU1 [파이토치 트랜스포머 #6] 3장 파이토치 기초 - 5) 활성화 함수 활성화 함수 활성화 함수 Activation Function 인공 신경망에서 사용되는 은닉층을 활성화하기 위한 함수 활성화: 인공 신경망의 뉴런의 출력값을 선형에서 비선형으로 변환하는 것 네트워크가 데이터의 복잡한 패턴을 기반으로 학습하고 결정을 내릴 수 있게 제어함 가중치와 편향으로 이루어진 노드를 선형에서 비선형으로 갱신하는 역할 예) 출근 시간 예측 모델 구현 일어난 시간(x1), 기상 상태(x2) 기상 상태(x2)보다 일어난 시간(x1)이 더 영향력이 크다는 것을 직관적으로 알 수 있음 → 연산 과정에서 일어난 시간(x1)은 더 많이 활성화(Activate)돼야 하며, 기상 상태(x2)는 비교적 비활성화(Deactivate)돼야 함 비선형 구조를 가져 역전파 과정에서 미분값을 통해 학습이 진행될 .. 2024. 3. 17. 이전 1 다음
