트랜스포머 - 포지션-와이즈 피드포워드 신경망 (Position-wise FFNN)

포지션 와이즈 FFNN은 인코더와 디코더에서 공통적으로 가지고 있는 서브층

FFNN은 완전 연결 FFNN(Fully-connected FFNN) 이다

• 포지션 와이즈 FFNN 의 수식

 

FFNN(x)=MAX(0,xW1+b1)W2+b2

 

여기서 x는 앞서 멀티헤드 어텐션의 결과로 나온(seq_len,dmodel)의 크기를 가지는 행렬을 말한다

가중치 행렬 w1는(dmodel,dff) 의 크기를 가지고

가중치 행렬 W2 은 (dff,dmodel) 의 크기를 가진다.

논문에서 은닉층의 크기인 dff는 앞서 하이퍼파라미터를 정의할 때 언급했듯이 2,048의 크기를 가집니다.

 

인코더의 최종 출력은 여전히 인코더의 입력의 크기 였던 (seq_len,dmodel)의 크기가 보존되고 있다

하나의 인코더 층을 지난 이 행렬은 다음 인코더 층으로 전달되고 다음 층에서도 동일한 인코더 연산이 반복된다.