전자둥이의 끄적끄적

안녕하세요 학습 도중에 갑자기 DataLoader workter (pid) is killed by signal: Killed. -> DataLoader workter (pid) exited unexpectedly 라는 에러문구가 발생했습니다. (아래 그림 참조) 이런 문제가 왜 생기는지 검색해본 결과 메모리 부족이라는 의견이 많았습니다. -> 보통 블로그에서는 dataloader에서 num_workers 부분을 0으로 수정해서 사용하라는 대답이 많았습니다. 저의 경우 해당 방법으로는 해결이 되지 않았고 num_workers를 0으로 세팅하면 학습속도가 엄청 느려지기만 했습니다,, 전에 사용하던 COCO dataset이나 PASCAL VOCdataset에서는 정상적으로 동작하였던 코드였기에 바뀐거라고는 새..

안녕하세요~ 저의 경우 GPU가 4개 달린 환경에서 학습을 진행하고 있습니다~ 학습 코드에서 GPU할당을 자동으로 나눠서 할당 하게끔 짜여있지만 종종 하나의 GPU에서만 동작 시키고 싶을 때가 있을겁니다. 그럴 경우 CUDA_VISIBLE_DEVICES = x 를 사용하시면 됩니다. 예를 들어 4개의 GPU중 4번 째 GPU만 사용하고 싶다! 그러면 CUDA_VISIBLE_DEVICES=3 python3 ~~ 다음과 같이 사용하시면 됩니다~ 읽어주셔서 감사합니다

안녕하세요 작업을 하다 보면 이미지 확장자명을 하나로 통일시켜야 할 때가 있어요~ 이미지 파일 개수가 수만개 있으면 일일이 바꾸는데 시간이 오래 걸리니까 코드 몇 줄을 사용해서 해당 작업을 하는 편입니다~ 이번에 가져온 예제는 특정 디렉터리에 있는 파일을. png확장자에서. jpg로 바꿔주는 코드를 짜 봤어요~ 해당 코드에 주석으로 설명도 적어놨으니까 이해를 하고 실무에서 한번 사용해보세요~ import os import glob files = glob.glob("./JPEGImages/*.png") #원하는 디렉토리 설정 for name in files: if not os.path.isdir(name): #디렉토리는 포함 x src = os.path.splitext(name) #확장자와 파일명 구분 o..

이번에 DropBlock논문을 읽고 이해한대로 써볼려고 합니다.. 잘못된 내용이 있을 시 댓글 달아주시면 감사하겠습니다 우선 논문내용 중에 중복된 내용은 skip을 하며 글을 써볼려고 합니다 Abstract Deep neural networks은 over-paramerterized 와 많은 양의 노이즈와 regularizatoin (weight decay, dropout)와 함께 학습할 때 잘 작동하는 경우가 있습니다. dropout이 regularization technique으로 fully connected layers에서 많이 사용되는 반면, convolutional layers에서는 효과적이지 않습니다. 왜냐하면 convolutional layers의 activation units가 공간적으로 상..