전자둥이의 끄적끄적

안녕하세요~ pytorch 를 활용한 레퍼런스 코드를 보기위해 git에 돌아다니다보면 layer 및 activation Function 을 구현할 때 torch.nn.Dropout 를 쓰는 경우도 있고, torch.nn.functional.dropout 을 쓰는 경우도 있습니다. 같은 dropout인데 왜 두개나 있는지 궁금해서 구글에 서칭해본 결고 다음 블로그에서 잘 설명해주어서 도움이 되었습니다. https://cvml.tistory.com/10 당연 영어 사이트가 저를 맞이할줄 알았는데 한글로 잘 정리해줘서 고마웠습니다.(감사합니다~~) ##torch nn import torch import torch.nn as nn loss = nn.CrossEntropyLoss() input = torch.ra..

종종 git저장소로부터 특정 브랜치만 clone으로 다운을 받고싶을 때가 있는데, 그럴 때 사용하면 용이합니다~ git clone -b {branch_name} --single-branch {저장소 URL} ex) git clone -b multi_test --single-branch https://github.com/~~ 감사합니다~

안녕하세요 ~ VGG에서 사용한 5x5 Conv를 3x3Conv 2개로 대체했을 때 왜 파라미터가 수가 적어진다고 하는지 알아보겠습니다. 우선 가정을 해보십다~ output Feature map size: HXW, input Channel, output Channel = 1 라고 생각하면 쉬울거 같아요. 파라미터 및 곱셈 연산량 비교 5x5 Conv 3x3 Conv + 3x3 Conv Params 25 18 Multiplication 25HW 18(HW + H + W +2) 계산을 해보면 다음과 같은 결과를 얻을 수 있습니다. 따라서 항상 5x5 Conv가 3x3 Conv + 3x3 Conv보다 파라미터수는 적음을 확인 할 수 있지만, 연산량에 있어서는 항상 3x3Conv + 3x3Conv가 더 좋다고 ..