해당 포스팅은 2020년 꿈꾸는아이 Drone Competition에 참가한 내용을 바탕으로 작성했습니다.
이번 본선 포스팅에서는 제가 맡은 파트인 1차전에 대한 내용을 위주로 설명하고, 2, 3차전의 창업 아이디어에 대해서는 디테일하게 설명해 드리지 못하는 점 양해를 부탁드립니다.
1. 본선 진행 과정
위의 그림처럼 Mobility부문의 본선은 총 3단계로 진행됩니다. 예선을 통해서 자율주행 부문(AWS)과 드론 부문(INTEL)의 팀을 4개씩 선발해서 총 8개 팀이 본선에 진출했습니다. 각 부문별로 토너먼트 방식을 통해서 전체 8개 팀 중에 1개의 팀을 뽑게 됩니다. 1차전은 예선과 동일한 방식으로, 2,3차전은 해당 기술(자율주행, 드론)을 활용한 창업 경진대회로, 준비한 창업 계획을 발표하는 방식으로 진행되었습니다. 다행히 8개 팀은 기본적으로 250만 원을 보유한 상태에서 시작하고, 1차전을 이기면 500만 원, 2차전을 이기면 850만 원, 3차전을 이겨서 우승하게 되면 2000만 원을 받게 됩니다.
2. 본선 1차전 준비
1) 데이터 모으기
저는 본선에서 주로 1차전을 위한 데이터셋을 구성 및 학습과 드론 조종의 역할을 맡았습니다. 역시나 본선에서는 예선과 다른 class를 알려주셨고, 열심히 인터넷을 활용해서 다양한 이미지를 크롤링했습니다. 저희에게 주어진 class항목은 아래 그림과 같았습니다.
항상 데이터를 크롤링한 뒤에는 기본적으로 중복 사진들을 제거해줘야 합니다. 비록 다른 키워드를 설정했을 때라도 동일한 이미지가 들어올 수 있기 때문입니다. 그래서 저희 팀은 VisiPics라는 프로그램을 활용해서 중복 데이터를 제거했습니다. 이렇게 중복된 데이터를 제거하지 않고 random으로 split 하게 된다면, 동일한 이미지가 train과 validation에 들어있어서 모델 성능 결과를 방해할 수 있기 때문입니다.
중복을 제거하는 데 사용했던 VisiPics를 간략하게 소개해보겠습니다.
1번에서 우리가 중복 이미지들을 제거하고 싶은 폴더를 클릭한 뒤 2번으로 넘기는 아이콘을 클릭하면 2번 화면처럼 넘어가게 됩니다. 3번은 우리가 얼마나 엄격하게 또는 느슨하게 판단할 것인지 정해줍니다. 만약에 엄격하게 지정했을 경우에 아무런 중복 이미지가 없다고 판단하면 점점 아래로 한 단계씩 내려가면서 확인해주기도 합니다. 어떻게 판단할지 정했다면 그 옆에 재생 버튼 모양을 클릭하면 초록 바가 올라가면서 폴더 내의 이미지들을 확인해줍니다. 그렇게 재생버튼을 눌렀다면 아래와 같은 화면을 볼 수 있습니다.
4번은 프로그램이 비슷하다고 인식한 이미지들입니다. 저 부분에서 보고 싶은 이미지에 마우스를 올려놓으면 5번처럼 미리보기가 가능합니다. 아래에는 그림의 정보와 용량, 크기를 확인할 수 있습니다. 간혹 다른 그림이지만 같다고 표시하는 경우도 있어서 Loose보다는 Strict로 확인하시는 것을 추천드립니다. 마지막으로 6번 툴에는 Auto-select라는 버튼이 있는데, 누르게 되면 중복 이미지 중에 지울 이미지 하나를 자동으로 선택합니다. 그리고 Delete를 누르게 되면 선택된 이미지가 한꺼번에 사라지게 됩니다.
2) 데이터 정제와 추가의 쳇바퀴
크롤링과 중복데이터 제거, 불필요한 데이터를 제거하는 과정을 반복적으로 수행하는 시간입니다. 그래도 저번에 진행했던 데이터 클래스와 동일한 것들이 많이 있어서 부족한 부분에 대해서만 데이터를 추가했습니다. 추가하면서 지난 슈렉고양이와 기차의 추억이 생각났습니다. 얘네들도 기본적으로 인식할 수 있는 방법에 대해 고민해봤습니다.
기차는 측면사진이 엄청 많았고, 오래된 기차의 양이 별로 없었던 것을 감안해서 다양한 각도에서 촬영한 이미지들을 추가하기로 했습니다. 또한 오래된 기차의 이미지를 추가하는 작업을 진행했습니다.
그러면 슈렉고양이는 어떻게 처리할까요? 슈렉고양이를 데이터 셋에 포함하기보단 고양이의 얼굴 촬영 이미지를 많이 넣어보기로 했고, 모델을 돌렸을 때, 슈렉 고양이의 얼굴을 찍으면 잘 분류하는 것을 확인할 수 있었습니다.
고양이처럼 다른 클래스에도 얼굴이 나온 것들을 많이 추가해보면 어떨까라는 생각을 하게 되었고, 동물에 대한 클래스에는 얼굴만 찍힌 것들을 많이 추가하려고 했습니다. 검색어로 "cat face"나 "고양이 얼굴" 이런 것들을 많이 찾아봤습니다. 강아지를 추가하면서 들었던 생각은 강아지 종류별로 헷갈리는 강아지가 많을 것 같다는 생각을 했습니다. 무엇보다 아래 사진들 중 시바견은 고양이처럼 귀가 뾰족한 특징이 있어서 고양이와 헷갈릴 수 있을 것 같아서 학습을 할 수 있도록 더 많이 넣어줬습니다.
배에는 작은 보트가 있을 수 있고, 엄청 큰 유람선이 있기도 하고, 중간 크기의 배도 있기 때문에 다양하게 검색어를 넣어서 이미지를 추가했습니다.
비행기도 마찬가지로 기종마다 다르기 때문에 다양한 기종, 경비행기, 제트기도 모두 포함했습니다. 그리고 여러 각도에서 촬영한 이미지를 넣으려고 노력했습니다.
버스는 이층버스, 스쿨버스, 시내버스 등 많은 종류가 있었고 지난번의 기차처럼 정면 나오거나 뒷면 나오면 안 되기 때문에 다양한 각도의 사진을 많이 추가했습니다. "혹시 타요버스가 나오지 않을까?"라는 고민을 했지만 다행히도 시내버스에 타요버스를 사용했던 시기가 있었습니다. 추가적으로 데이터 셋을 학습 후에 캐릭터 타요버스를 예측해보니 버스라고 인식했습니다.
자동차는 처음에는 "car", "자동차" 같은 검색어로 크롤링을 했더니, 승용차가 너무 많고, 경차를 기차라고 인식하는 경우도 있었고, SUV도 기차의 곡선을 닮아서 그런지 좀 더 세분화해서 이미지를 추가했습니다. 물론, 자동차도 다른 사물과 동일하게 다양한 각도의 사진을 추가했습니다.
드론이나 주먹, 가위, 보, 미니언, 로고에서는 특별하게 문제가 발생하지 않고 잘 인식해서 더 많은 데이터를 추가하지는 않았습니다.
가장 어려웠던 것은 소와 양과 염소였습니다. 아래 그림에는 소, 염소, 양이 있습니다. 아래 그림을 한번 맞혀보실까요?
정답은 앞에서부터 소, 염소, 양 순입니다. 그래도 이것은 생각보다 쉽습니다. 다음 문제는 조금 더 어렵습니다. 아래 그림에는 염소와 양이 있습니다. 누가 양이고 누가 염소일까요?
정답은 앞이 염소, 뒤가 양입니다. 이렇게 세 개의 클래스는 너무나도 비슷한 점이 많아서 분류하기 어려워서 다양한 이미지를 최대한 모으기 위해 각 클래스별로 종을 구분해서 크롤링을 진행했습니다. 크롤링하다가 이상한 녀석을 발견했습니다.
털뭉치같은 양들이 데이터 셋에 종종 보였습니다. 이것을 지워야 하는가, 말아야 하는가에 대해 조원들과 토론했습니다. 결국 양의 질감이 있다고 생각해서 남기기로 했습니다. 이러한 과정을 반복하면서 7차까지 정제하는 과정을 통해 최종 데이터 셋을 얻을 수 있었습니다.
3) 모델링
모델링은 기본적으로 가벼운 모델을 활용하기 위해서 Mobilenetv2 모델을 활용했고, optimizer로는 일반적으로 좋은 성능을 내는 adam을 활용했고, learning rate는 처음에는 어느 정도 크게 움직이다가 몇 에폭이 지나가면 줄어드는 스케쥴러를 활용했습니다. 스케쥴러를 사용한 것은 비교적 큰 learning rate를 계속 가지게 되면 global minima에서 나올 수 있는 가능성도 있어서 그걸 줄여주고자 에폭이 증가할수록 learning rate를 줄여줬습니다. 최종으로 얻게 된 모델의 loss 값은 0.24 정도에 도달하는 것을 확인할 수 있었고, 대부분의 이미지는 잘 인식하지만, 위에서 언급했던 것처럼 소, 염소, 양에서는 드론의 위치에 따라 인식하는 위치가 다른 것을 확인했습니다. 그래서 저희는 모델에 맞혀서 각 그림의 어떤 부분에 포커싱을 해야 되는 지를 파악했습니다.
4) 본선 2,3차전
본선 2,3차전은 본선 1차전 이후에 바로 진행되기 때문에 우리가 올라갈 수 있는지 모른 상태에서 준비해야 했습니다. 그래서 앞에서의 모델링, 정제는 제가 주로 맡아서 진행했고, 다른 팀원들은 본선 2,3차전을 위해 PPT 만들고, 다양한 창업 아이템에 대해 고민해봤습니다. 저희 팀은 드론을 활용한 사업 아이템이어서 vision을 활용한 task라는 제약 속에서 진행해야 했습니다. 그래도 그나마 좋은 아이디어를 가지고 본선 날까지 준비할 수 있었습니다. 또한 GIST 측에서 업체와의 멘토링 시간을 통해 저희의 창업 아이템을 보완해주는 시간도 있어서 엄청 어렵지는 않았던 것 같습니다.
3. 본선
본선 1차전은 원래 더 큰 강당에서 진행하려고 했으나, 코로나의 확산으로 기존의 사용했던 공간을 활용하게 되었습니다. 또한 팀원들이 전부 갈 수 없어서 발표자와 제가 GIST로 가게 되었습니다.
1) 본선 1차전
기존 예선에서는 4개, 4개 이미지를 맞히는 것이었다면, 본선 1차전에서는 총 12개의 이미지를 6개씩 나눠서 5분, 5분 동안 분류해야 했습니다. 지난 예선보다 훨씬 문제가 어려워지고 동선도 짜기 어려웠습니다.
처음 6개 사진을 먼저 컴퓨터 앞에서 스캔했더니 저를 당황하게 만든 것이 좀 많이 보였습니다. 가장 먼저 보자마자 이건 맞히겠다 싶었던 것은 바로 양이었습니다.
위에서 언급했듯이 이것을 뺄지 말지에 대해 엄청 고민하다가 넣었는데 다행히도 문제 출제자의 마음을 읽었나봅니다. 다행히도 아주 잘 인식했습니다.
새 클래스 대신해서 타조의 얼굴이 있었습니다. 다행히도 저희는 타조의 얼굴도 포함을 시켜서 쉽게 맞힐 수 있었습니다. 여기에 포스팅에 포함하고 싶었지만 찾을 수 없었던 이미지는 불독이 황소 동상 위에 앉아있었는데, 불독을 강아지로 인식해야 했습니다. 중간에 드론이 떨어지게 되면 30초의 페널티가 있었기 때문에 조심히 가까이 가서 인식에 성공할 수 있었습니다. 마지막에 1개는 시간이 부족해서 맞히지 못했습니다. 그래도 5개면 선방을 했다고 생각했고, 다른 이미지 6개를 봤습니다. 보자마자 당황하게 했던 것들이 있었습니다.
특히 자동차 SUV는 색상이 노란색이여서 버스로 착각하기 쉬운 이미지였고, 드론은 뭐 그냥 비행기나 다름없었습니다. 그리고 비행기는 보시는 것처럼 너무 작아서 가까이 가도 초점을 맞힐 수 있을까 의문이었습니다. 그래도 나머지 그림들은 생각보다 쉬워서 이것들을 맞히는 것이 중요했습니다.
결과는 위에 사진 중 드론을 제외한 두개는 못 맞혀서 총 12개 중 9개를 맞혔고 상대 팀보다 2개를 더 맞혀서 본선 2차전으로 올라갔습니다. (아마 본선 2차전 상대팀이랑 붙었다면 떨어졌을 수도..)
2) 본선 2,3차전
본선 2,3차전은 창업 아이디어에 대한 이야기를 해야 하는데, 말씀을 드릴 수 있는 부분이 없어서 어떤 과정으로 진행되었는지 소개해드리도록 하겠습니다. PT의 자료는 기술 평가와 비즈니스 모델을 평가하는데, 2차전에서는 기술평가를 3차전에서는 비즈니스 모델을 더 중요한 요소로 평가했습니다. 그래서 저희 팀은 PT를 2개 준비하기에는 시간이 부족하다고 판단해서 최대한 3차전을 대비하는 PT를 준비했습니다. 또한 팀별로 발표시간이 정해져 있어서 주어진 시간 내에 PT 내용을 전부 전달해야 해서 내용 구성이 어려웠습니다. 2차전은 서로의 발표를 듣고, 상대편의 발표에 대해 토론하는 방식으로 진행했습니다. 우리의 발표도 중요하지만 상대방 아이디어에서 제한점은 어떤 것들이 있는지 살펴보는 것이 중요했습니다. 얼음판 같은 발표 및 질의응답 시간이 지나고 심사위원 분들께서 투표로 3차전으로 올라갈 팀이 정해졌는데 3:2로 저희 팀이 진출하게 되었습니다.
3차전은 동일한 PT지만 상대방이 질문하는 것이 아니라, 심사위원 분들께서 직접 질문하시는 방식으로 진행되었습니다. 3차전은 정말 힘들었던 것이 생각보다 어려운 질문이 많아서 정확하게 답변드릴 수 있는 것이 많지 않았고, 상대팀도 마찬가지였습니다. 그래도 심사위원분들께서 다양한 조언들을 해주셔서 감사한 시간이기도 했고, 우리가 놓친 부분이 생각보다 많았다는 것을 느낄 수 있었습니다. 그렇게 3차전이 끝나고 저희 팀은 어떻게 되었을까요?
4. 결과
심사위원분들의 날카로운 질문으로 의기소침해져있었는데, 그 현장을 보셨던 드론 쪽 연구원분들께서 저희 팀에 오셔서 고생했다고 멘탈케어를 해주셨습니다(정말 정말 감사했습니다). 결과는 어떻게 되었을까요?
결국 1등을 하게 되었습니다!(저희는 당연히 못받을 거라 생각했는데) 진짜 상을 받으면서 많이 창피한 마음이 들긴 했지만, 그래도 좋은 아이디어라고 주신 상이라고 생각하기로 했습니다. 지금 돌아보면 이것을 계기로 더 깊게 공부해야겠다는 생각을 하게 되었던 것 같습니다. (그래서 네이버 부스트캠프에서 열심히 굴러다니는 중입니다.) 저처럼 부족한 사람도 열심히 노력하면 좋은 성적을 낼 수 있었던 대회였던 것 같습니다. 다음에는 다른 부문으로 꼭 참가해보고 싶습니다!(실력을 키워서) 대회 기간 동안 애써주신 관계자 분들에게 감사하다는 말씀을 전하고, 같이 열심히 노력한 팀원들에게 감사하다는 말을 전하면서 포스팅을 마치도록 하겠습니다. 긴 글 읽어주셔서 감사합니다.
