5x5 Conv 를 3x3 Conv2개로 대체 효율

안녕하세요 ~ 

VGG에서 사용한 5x5 Conv를 3x3Conv 2개로 대체했을 때 왜 파라미터가 수가 적어진다고 하는지 알아보겠습니다.

 

우선  가정을 해보십다~

output Feature map size: HXW,

input Channel, output Channel = 1 라고 생각하면 쉬울거 같아요.

 

파라미터 및 곱셈 연산량 비교

	5x5 Conv	3x3 Conv + 3x3 Conv
Params	25	18
Multiplication	25HW	18(HW + H + W +2)

계산을 해보면 다음과 같은 결과를 얻을 수 있습니다.

따라서 항상 5x5 Conv가 3x3 Conv + 3x3 Conv보다 파라미터수는 적음을 확인 할 수 있지만, 연산량에 있어서는 항상 3x3Conv + 3x3Conv가 더 좋다고 말할 수는 없습니다.

따라서 output Feature map의 사이즈가 6x6보다 크다면, 5x5 Conv를 3x3 Conv 2개로 교체를 해주면 좋다는 결과를 얻을 수 있습니다!

 

추가적으로 이를 바탕으로 3x3 Conv가 1x3 Conv + 3x1 Conv로 대채되기도하는데 , 다음과 같이 대체했을 때 얼마나 파라미터면에서 또는 연사량면에서 이득이 되는지 직접 해보시는것도 좋을거 같습니다.

 

감사합니다~