전자둥이의 끄적끄적

안녕하세요, 전자둥이입니다! 😊 딥러닝 모델을 학습시키다 보면 Loss가 전혀 줄어들지 않거나, 학습이 도중에 발산하거나, 정확도가 제자리인 경우가 생깁니다. 저도 이 문제로 며칠을 날린 적이 있는데요. 오늘은 학습이 안 될 때 순서대로 확인해야 할 체크리스트를 정리해 드리겠습니다! 📌 목차1. 데이터 문제 확인2. Learning Rate 문제3. 모델 구조 문제4. 손실 함수 / 출력층 문제5. 정규화 / 배치 문제6. 기울기 문제 (Gradient)7. 빠른 디버깅 체크리스트 요약 ━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. 데이터 문제 확인 학습 문제의 50% 이상은 데이터에서 비롯됩니다. 모델보다 데이터를 먼저 의심하세요. ✅ 체크 항목:- 레이블이 올바른가? (클래스 번호가 0부터..

안녕하세요, 전자둥이입니다! 😊 PyTorch를 설치하다 보면 CUDA 버전이 맞지 않아서 오류가 발생하거나, GPU를 아예 인식 못하는 경우가 정말 많습니다. 저도 처음에 이 문제로 몇 시간을 허비했는데요, 이번 글에서 버전 맞추는 방법을 완벽하게 정리해 드리겠습니다! 📌 목차1. CUDA, cuDNN, PyTorch 관계 이해하기2. 내 GPU에 맞는 CUDA 버전 확인하는 법3. PyTorch 공식 호환 버전 표 보는 법4. 설치 명령어 (pip / conda)5. 설치 확인 방법6. 자주 발생하는 에러 및 해결법 ━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. CUDA, cuDNN, PyTorch 관계 이해하기 많은 분들이 헷갈려 하시는 부분입니다. 각각의 역할을 먼저 정리해봅시다. - ..

안녕하세요 open-set Loss라는 주제를 가지고 논문 리뷰를 진행하려고 합니다. https://arxiv.org/pdf/1811.04110.pdf (작성중..) ** Code class Entropic_Open_set_Loss(): def __init__(self, class_names): self.class_num = len(class_names) self.Cross_entropy = nn.CrossEntropyLoss() def __call__(self, output, target_batch): output_softmax = F.softmax(output, dim=1) loss = 0 for i, target in enumerate(target_batch): if target == self.cl..

안녕하세요. Custom data를 사용하여 YoloV5s 모델을 사용하려다 보니 dataset annotation format이 txt파일 포맷인 걸 알고 난 후 기존에 가지고 있던 데이터셋의 annotation format을 바꾸는 작업을 하려고 합니다. 데이터 로더 부분을 수정하는 방법도 있겠지만 학습코드를 건드리지 않는 선에서 진행을 하고 싶어 이 방법을 택했습니다. * 사용한 학습 코드 https://github.com/ultralytics/yolov5 GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ult..

안녕하세요. Gradient Descent에 대해서 공부하기위해서 조사한 자료를 요약하고자 합니다. Gradient Descent Gradient descent는 한국말로 경사하강법이라고 불립니다. 머신러닝에서 Gradient Descent는 모델의 파라미터값들을 업데이트하기 위해서 사용됩니다. 어떤방식으로 파라미터값들을 업데이트 하는지 설명해드리겠습니다. Introduction 예시를 들어볼게요. 다음과 같이 3차원 그래프 그림이 있다고 가정을 해볼게요. 여기서 우리가 원하는 것은 오른쪽 위에보이는 높은 지형(높은 값을 가진 지형이라고 가정할게요) 에서 가장 낮은 지형(진한 파랑 -> 낮은 값을 가지고 있는 지형)으로 가고자 하는 것으로 하겠습니다. 그리고 그림에서 화살표는 해당 위치에서 음의 기울기방..

안녕하세요 pretrained된 모델을 로드하고 학습 및 추론을 할 때 다음과 같은 에러를 보신적이 한두번은 있을겁니다. size mismatch가 아닌 없는 layer또는 있는 layer를 무시할 때는 state_dict = torch.load(cached_file) mdl.load_state_dict(state_dict,strict=False) 위에 코드처럼 load_state_dict()에 strict=False만 기입해주면 해결이 됩니다. 하지만 맨 위에 에러처럼 같은 layer에서의 size mismatch는 strict=False로 해결이 안됩니다... 외국 포럼 사이트에서 해결방법을 찾게되어 소개를 해볼려고 합니다. 우선 코드부터 보드리겠습니다. def on_load_checkpoint(se..

안녕하세요 LENET5모델을 활용하여 Pytorch를 통해 학습시키는 과정을 해볼려고 합니다. 우선 전체 코드 공유해드릴게요~ import torch import torch.nn as nn import torch.nn.functional as F from torch.utils.data import Dataset, DataLoader from PIL import Image import os import torchvision.transforms as transforms from torchsummary import summary from torch import optim from datetime import datetime ##path define DATASET_PATH = './dataset/' EPOCHS..

안녕하세요 tensorflow zoo와 tensorflow detection api를 사용하여 tflite파일을 만드는 과정에 대해서 설명드리고자 합니다. https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf2.md -> Object Detection API with TensorFlow 2 하나의 디렉토리를 만듭니다.(~디렉토리에 만든다고 가정할게요, 계속 나올거니까 유의하세요~) mkdir ~/tensorflow 그리고 Object Detection API를 설치하기 위해서는 protobuf-compiler를 설치해야합니다. (tensorflow는 파일 저장 포맷을 프로토콜 버퍼를 사용하고, 컴파일 하기위해..

안녕하세요 pytorch를 사용하여 학습 및 추론을 진행 할 때 RuntimeError: stack expects each tensor to be equal size, but got ~과 같은 에러가 DataLoader에서 발생하는 경우가 종종 있습니다. 해당 에러는 사용하는 데이터셋의 이미지의 사이즈가 서로 달라서입니다. 사이즈가 다르게되면 Array나 Tensor의 각 차원이 동일하지 않기 때문에 batch형태로 묶어줄 수 없기 때문에 발생합니다. 따라서 해결하기 위해서는 torchvision에서 제공하는 transforms.resize()함수를 사용하거나 그 외에 다양한 방법으로 Resize를 진행해주시면 됩니다. import torchvision.transforms as transforms tra..

안녕하세요 Pytorch를 사용하여 학습을 진행하는 과정에서 DataLoader를 진행하는 과정에서 다음과 같은 에러가 발생하는걸 종종 확인 할 수 있습니다. 저의 케이스에서는 학습 시킬 이미지 중에 채널이 3개만 있는 이미지 뿐만 아니라 채널이 4개가 있는 이미지가 포함되어 있을 때 발생합니다. 왜냐하면 저의 경우 normalize를 ((0.5,0.5,0.5),(0.5,0.5,0.5)) 3개의 채널에 대해서만 진행을 하기 때문입니다. 따라서 이 에러를 해결하기 위해서는 Dataset 클래스에서 이미지를 불러올 다음과 같이 수정했습니다. image = Image.open(self.img_list[idx]) -> image = Image.open(self.img_list[idx]).convert('RGB'..