해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. Competition을 하다보니, 하루 하루 정리하기가 어려워서 주말을 활용해서 작성했습니다. 1. 실행 내용 1) mmDetection 라이브러리 이해하기 Object Detection에서는 mmdetection이라는 라이브러리를 사용해서 다양한 모델을 학습시킬 수 있습니다. 최근에 만들어진 새로운 모델들도 최대한 지원하려고 하고 있으며, config를 수정해서 쉽게 접근할 수 있습니다. 쉬운 만큼 폴더 구조나 구성이 어떻게 되는지를 충분하게 이해할 필요가 있습니다. 모델이 학습하기 위해서는 dataset.py, default_runtime.py, schedule.py, model.py가 필요합니다. dataset은 ..
학습포스팅/네이버 부스트캠프
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 학습정리를 따로 적지 못해서 한 포스팅에 모두 작성했습니다. 1. 목표 Efficientnet-B7 결과 및 최적의 모델 찾기 최적의 augmentation 찾기 TTA 적용하기 2. 진행 내용 1) Efficientnet-B7 결과 및 최적의 모델 찾기 Efficientnet-B7을 Deeplabv3+에 적용시켜서 학습해보니, 1에폭 당 많은시간이 소요되었습니다. 이를 public에 넣었을 때, 0.6의 mIoU값을 얻었습니다. 이 모델을 계속 활용하게 되면, 많은 실험을 해보지 못하기 때문에 해당 모델은 활용하지 않았습니다. 그나마 성능은 괜찮으면서 빠르게 학습할 수 있었던 se-resnext101_32x4d라는 모..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 목표 추가적인 Augmentation 적용 DeeplabV3+ 구조에 efficientnet-b7으로 학습하기 2. 진행 내용 1) 추가적인 Augmentation 적용 오늘은 3가지 augmentation을 테스트해보고 mobilenetv2로 학습해보며 테스트했습니다. CropNonEmptyMaskIfExists는 mask의 존재여부를 확인하고 잘라내는 augmentation입니다. 256으로 잘라서 512로 resize한 것과 512로 자른 것 중에는 256으로 자른 것이 더 좋은 성능을 보였습니다. 그 이유는 대부분의 이미지가 512로 되어 있어서 크게 영향이 없었던 것으로 판단됩니다. InvertImg (V..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 강의 High Performance를 자랑하는 Unet 계열의 모델들 1) U-Net U-Net은 Biomedical 분야뿐만 아니라, 다양한 분야에서 좋은 성능을 보여주고 있습니다. 특히 medical 분야는 데이터가 부족합니다. 고급인력인 전문가들이 직접 라벨링을 해줘야 하기 때문에 데이터 수집이 쉽지 않습니다. 그리고 의료 데이터의 경우 같은 클래스가 인접한 셀 구분할 필요가 있습니다. 하지만, 일반적인 Semantic Segmentation에서는 이것을 구분하기가 굉장히 어렵습니다. 그래서 이것들을 해결하기 위해 만들어진 구조가 바로 U-Net입니다. U-Net은 입력 이미지의 전반적인 특징을 추출하고 차원..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 목표 DilatedNetFront_context Model 학습해보기 U-Net으로 학습해보기 2. 진행 내용 1) DilatedNetFront_context Model 학습해보기 vgg16을 backbone 모델로 활용하고, pretrained weight를 불러와서 학습을 진행했습니다. V100 기준으로 20에폭 도는 동안 6시간 정도로 오래걸렸습니다. 학습 결과는 0.3563로 나왔습니다. 2) U-Net으로 학습해보기 smp라는 오픈소스를 활용해서 pretrained 모델을 활용할 수 있습니다. Unet의 구조에 backbone으로 resnet34와 efficientnet-b7을 사용했습니다. resnet3..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 목표 Baseline으로 학습해보기 DilatedNetFront, DilatedNetFront_context 모델 구현/학습해보기 2. 진행 내용 1) Baseline 학습해보기 Baseline으로 주어진 모델은 FCN8s으로 구성되어 있었습니다. 20에폭 돌아가는 동안 생각보다 빠르게 학습이 되었습니다. submission 결과는 mIoU가 0.3340이 나왔습니다. 2) DilatedNet 모델 구현 Dilated Convolution은 image의 크기를 적게 줄이면서 효율적인 receptive field를 넓히는 방법입니다. 이 방법을 활용하면 Receptive field는 커지고, parameter는 줄어..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 목표 FCN8s.py 만들어보기 mAP에 대해 이해하기 2. 진행 내용 1) FCN8s.py 만들어보기 FCN8s는 Backbone으로 VGG16을 사용하면서, FC layer 대신 Convolution layer로 바꿔줘서 위치의 정보를 잃지 않도록 만들어주는 방법입니다. 특히, semantic segmentation의 경우, 위치 정보를 보존하는 것이 중요합니다. FCN32s, FCN16s, FCN8s 등 여러 가지 종류가 존재하지만, 가장 성능이 좋은 FCN8s를 만들어 봤습니다. github를 참고하면서 fc6에서 kernel size가 7인 conv layer를 넣었습니다. 이외에도 크기를 맞춰주기 위해서..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 목표 R-bert 모델의 fc layer 다양하게 적용해보기 다양한 모델 앙상블 2. 진행 내용 1) R-bert 모델의 fc layer 다양하게 적용해보기 fc layer input 형태 정확도 [cls, entity1, entity2] 78.2 [cls, entity1, entity2, entity1*entity2] 76.5 [cls, entity1, entity2, |entity1-entity2|] 78.1 [cls*entity1, cls*entity2] 76.2 [cls*entity1, cls*entity2, entity1*entity2] 76.2 최초의 R-bert에서 제안한 방법이 가장 성능이 좋았습니다..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 목표 새로운 모델 적용 R-bert 2. 진행 내용 1) 새로운 모델 적용 R-bert R-bert는 논문 내용에 따르면, 관계 추출 Task에서 좋은 성능을 보여주고 있다고 합니다. entity 앞 뒤에 special token을 만들어주고, 각 entity에 대한 벡터를 average해서 cls에서 나온 것과 concatenate를 하는 방식을 사용하고 있습니다. R-bert를 이용했을 때, 이전에 baseline에서 돌리는 것보다 약 4%정도 acc가 증가하는 것을 확인할 수 있었습니다. R-bert의 구조가 두 entity에 대한 내용을 강조해주기 때문인 것 같습니다. 추가적으로, 위의 언급한 3개만 con..
해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다. 1. 목표 데이터를 추가하기 위한 전처리 작업 2. 진행 내용 1) 데이터를 추가하기 위한 전처리 작업 생각보다 전처리할 요소들이 많이 존재했고, 우리가 사용할 라벨에 해당하는 데이터가 300개 중 57개밖에 없었습니다. 이를 활용해도 크게 좋은 효과가 나오지는 않을 것 같지만 일단 정제 해봤습니다. 3. 회고 다음 주에는 다양한 모델로 돌려보고, entity에 대한 토큰을 추가해보도록 할 예정입니다.
