전자둥이의 끄적끄적

이번에 DropBlock논문을 읽고 이해한대로 써볼려고 합니다.. 잘못된 내용이 있을 시 댓글 달아주시면 감사하겠습니다 우선 논문내용 중에 중복된 내용은 skip을 하며 글을 써볼려고 합니다 Abstract Deep neural networks은 over-paramerterized 와 많은 양의 노이즈와 regularizatoin (weight decay, dropout)와 함께 학습할 때 잘 작동하는 경우가 있습니다. dropout이 regularization technique으로 fully connected layers에서 많이 사용되는 반면, convolutional layers에서는 효과적이지 않습니다. 왜냐하면 convolutional layers의 activation units가 공간적으로 상..

일반적으로 현재 존재하는 object detection 방법에는 3가지로 분류할 수 있습니다. - one-stage detection : YOLO series, SSD etc... - two-stage detection : R-CNN series etc.. - multi-stage detection : Cascade R-CNN 이렇게 다른 detection frameworks를 가지고 있지만 bounding box regression 인 target의 위치를 예측하는 사각형 박스는 중요한 단계로 취급됩니다. 현재 가장 대중적으로 사용되고 있는 boundign box regression 방법은 IOU방법입니다. 보통 L1-norm이나 L2-norm loss를 B^gt와 B의 distance loss을 측정..

안녕하세요 오늘은 오차역전파에대해서 간략히 소개드릴려고합니다. 오차역전파는 딥러닝 시 언제 사용되는지 아시나요? 특정 모델을 학습시키게 되면 손실값(loss)을 출력한다는 사실을 알고 있다는 전제하에 설명하겠습니다. 우리가 원하는 쪽으로 학습을 시키기 위해서는 각 weight 값의 손실 기울기를 알 수 있다면 손실의 기울기를 가지고 optimizer을 통해 weight 값을 갱신 할 수 있습니다. 그럼 여기서 손실 기울기를 구하는 방법이 바로 오차역전파를 통해서 구해집니다. 위에 그림은 z = x + y를 나타내는 계산 그래프입니다. 이거를 좀더 복잡한 계산이 있다고 가정하게되면 다음과 같은 그림이 될 수 있습니다. 여기서 순전파는 앞서 계산한거 처럼 어떤계산을 거친 x 와 어떤계산을 거친 y를 더한 값..

[사양] Ubuntu LTS 20.04 그래픽카드 RTX2080 ti 아키텍처 x86_64 developer.nvidia.com/cuda-downloads CUDA Toolkit 11.2 Downloads Select Target Platform Click on the green buttons that describe your target platform. Only supported platforms will be shown. By downloading and using the software, you agree to fully comply with the terms and conditions of the CUDA EULA. Operating System developer.nvidia.com CUDA를 ..

보통 모델들을 보면 layer가 뒤로갈 수록 filter의 총 개수가 많아지는걸 볼 수 있습니다. 그 이유는 두 가지 측면에서 해석 해 볼 수 있습니다. 첫 번째는 연산량때문입니다. 처음에는 이미지크기가 크기 때문에 적은 수의 필터 개수로 계산을 해도 굉장히 많은 연산을 하게 됩니다. 하지만 계층이 깊어질수록 feature map크기가 매우 작아지게 되는데 이때는 많은 필터의 개수로 연산을 해도 생각보다 많은 연산량을 안잡아 먹기 때문입니다. 두 번째는 추출한 feature map 의 형태입니다. 보통 초반에는 이미지로부터 edge데이터를 추출하게 됩니다. 그렇기 때문에 많은 형태의 필터개수가 필요가 없습니다. 하지만 feature map이 작아질 수록 점점 추상적인 데이터를 추출하기 시작합니다. 따라서..

안녕하십니까 오늘은 논문 정리를 진행하려고 합니다. 직접 읽고 제가 생각한 바를 적는 공간이라 틀린 부분이 있을 수도 있습니다. 궁금한 점이 있거나 수정해야 할 부분이 있으면 댓글 부탁드립니다. 처음으로 논문정리할 논문은 mobilenetV2: Inverted Residuals and Linear Bottlenecks입니다!! 시작하겠습니다 1. Introduction 요약하자면 이 논문에서는 새로운 네트워크 아키텍쳐를 소개할 것이다. 이는 모바일이나 리소스가 제약된 환경을 위한 것이다. 그리고 같은 정확도를 가지면서도 연산수를 크게 줄이고 사용되는 메모리를 줄여준다. 정도입니다. 2. Related Work 이 논문 출시 유명했던 네트워크에대해서 언급하고 이들은 하나의 단점이 있다면서 바로 네트워크가 ..

개발환경 OS: window10 프레임워크: Pytorch 모델:mobilenet_v2 다음과 같은 개발환경에서 직접 데이터를 모은 custom data 10가지 클래스를 가지고 성능 테스트 진행중에 있습니다. 이번 포스팅에서 말하고 싶은 내용은 data augmentation이 정말 중요하다는 내용입니다. teachablemachine.withgoogle.com/ Teachable Machine Train a computer to recognize your own images, sounds, & poses. A fast, easy way to create machine learning models for your sites, apps, and more – no expertise or coding req..