처음으로 공을 엄청 들였던 첫 논문<차수막 자동화를 위한 딥러닝 기반 차량 침수 가능성 예측 기법>

A Deep-Learning-Based Vehicle Flooding Prediction Technique for Water Shield Automation

연구배경

매년 여름, 태풍으로 인해 인명사고 및 차량 피해와 같은 막대한 손실이 발생했었다. 올해 여름 역시 11호 태풍 '힌남노'로 인해 수도권을 비롯한 포항, 경주 등 다수의 지역이 피해를 보았다. 

• 집중호우로 인한 강우량의 급증으로 배수시설의 한계점이 있는 지하주차장이 침수되는 경우[그림1]
• 인력부족 및 부실대응으로 인하여 차수막을 작동시키지 못하는 문제(동작구에서는 구청직원의 판단실수로 큰 비용을 투자하여 만든 차수막을 작동시키지 못하여 피해가 발생)[그림2]
• 침수로 인하여 인명사고, 차량 피해 발생

※차수막이란 물이 흘려들거나 스며드는 것을 예방하기 위하여 쳐 놓은 판으로 침수가 예상되는 곳 입구에  설치하여  물의 유입을 방지한다.

 

연구문제

• 침수가 된 상황, 침수위험상황을 판단하기 위해서는 기준점이 필요한데 그 기준점을 세우는 것(어떤 것이 기준이 될건지 정해야만 하였다.)
• 기준점을 지하주차장에 주차가 되어 있는 차량 타이어에 물이 차오르는 정도로 세운 후, 학습에 필요한 데이터셋을 구하는 것
• 타이어를 CCTV를 통해 관측하고 1.침수가 되지 않은 경우 2.침수가 진행 중인 경우 2가지로 이진분류하는 것

이 세가지를 해결하기 위해 고민을 한 결과 학습데이터셋을 직접 만들기로 결정하였다.(학습데이터셋 구하는 것이 힘들었던 이유는 이미 차량이 침수가 진행되어 타이어가 잘 보이지 않는 이미지가 대다수였기 때문이다!!)

 

[그림3] 차수막 자동화 시스템 구조도

CCTV를 통해 차량 바퀴 이미지를 관측한 다음 YOLOv5를 통해서 1.침수가 진행 중인 바퀴 인지 2. 일반 바퀴인지 상태를 판단 후 1번일 경우는 차수막을 활성화 시킨다. 

 

연구방법

결국 학습데이터를 구하는 것이 가장 어려운 일이였고, 이 부분에 대해서 고민한 것이 이번 연구의 가장 큰 목표였다.

[그림4] image C&S(Crop & Synthesis)

[그림4]를 보면

1. 우선 학습데이터셋은 침수가 되지 않은 차량의 이미지를 웹크롤링 및 직접 사진을 찍어 412장 모았고, 차량의 바퀴에 라벨링 작업을 하였다.
2. 라벨링 되어 있는 타이어 이미지를 잘라내었다(Crop).
3. Crop한 이미지에 물 비율을 10%~50%로 설정한 후 12가지의 다양한 물 texture 이미지를 합성시켰다(Synthesis).
4. 합성 시킨 이미지를 원래의 라벨링되어있던 곳에 다시 위치시켰다.

[그림5] image C&S 를 통해 만든 학습데이터셋

[그림6] 침수차의 기준

주요 국내의 차량 모델 별 엔진 흡입구를 측정한 결과에 따르면 외부공기가 유입되는 엔진 흡입구 높이는 최고 80cm에서 최저 55cm로 약 25cm의 차이가 있었다(출처:삼성교통안정문화연구소,2019)
차량 침수 기준이 타이어의 절반이 물에 잡기면 침수피해를 입은 차량으로 간주
(출처: 이호근,"카 히스토리' 통해 침수차인지 반드시 확인해야", 이호근 교수의 자동차 이야기)

실험 및 성능평가

[그림7] 실험 및 성능평가

[그림7]은 본 연구에서 실험한 3가지 데이터셋과 3가지 YOLOv5 모델별 mAP값을 나타낸다. mAP가 가장 높게 나온 YOLOv5S-5X 데이터셋은 굵은 글씨로 표시하였다. 먼저 Original 데이터셋은 침수된 타이어를 제대로 검출하지 못하기 때문에 최소 54.5%의 mAP를 기록하였다. 5X 데이터셋은 데이터 증강기법을 통해 침수된 타이어에 대한 특징을 학습하였기 때문에 YOLOv5S 모델에서 74.3%의 mAP로 original 데이터셋과 비교하여 20%의 높은 성능향상을 기록하였다. 3가지 YOLOv5 모델을 비교하였을 때 Small 모델이 모든 데이터셋에 대해서 성능이 가장 좋았다. Medium과 Large 모델의 경우 복잡도가 낮은 작업에서 모델이 많은 수용영역을 가져 과적합이 발생했기 때문으로 분석된다. YOLOv5S-5X 데이터셋이 YOLOv5S-1X 데이터셋보다 침수된 타이어의 증강 된 데이터가 많아 다양한 특징들을 학습하였기 때문에 2.2% 더 높은 성능을 기록한 것으로 분석된다.

 

결론

본 논문에서는 침수로 인한 인명사고와 차량피해를 막고자 CCTV 영상에서 딥러닝 기술을 적용하여 침수상황을 파악하고 차수막을 자동으로 설치하는 차수막 자동화 시스템을 제안하였다. 시스템에서 사용된 딥러닝 모델 학습을 위한 침수된 타이어 데이터는 수집하는데 많은 비용이 발생한다. 본 논문에서는 이러한 데이터를 다양한 물 이미지를 합성하는 image C&S 데이터 증강기법을 통해 획득하였다. 이에 대한 실험결과로 데이터 증강기법을 사용하기 전과 비교하여 20%의 높은 성능향상을 기록하여 그 실효성과 우수성을 입증하였다.

 

후기

현재 대학교 3학년에 재학중인 나는 이번 논문을 준비하면서 굉장히 어려움을 많이 겪었다. 좋은 아이디어를 도출하는것부터, 어떤 실험을 해야하는지, 논문을 어떻게 작성해야되는지에 대해 고민도 많이 하고, 이 과정에서 혼자 넘어지고, 일어나기를 반복하였다. 아이디어를 도출하는데 족히 2개월은 소비한 것 같다.(이 시간이 너무 힘들었다..... 침수관련 기사를 100개는 찾아봤던것 같다....) 타인의 도움을 받지 않으려는 나의 성격과 어떤 일에 집중하면 소통을 잘 하지않는 단점들을 많이 볼 수 있었고, 그 과정에서 같은 연구실 동료들에게 서운함도 내심 느꼈던것 같다. 그 오해도 [11.02~11.04] 대한임베디드공학회에서 열린 2022 대한임베디드공학회 추계학술대회에서 풀렸고, 내 잘못도 분명 있다는 것을 알게 되었다. 이번 학회를 다녀와서 교수님께서 우수논문발표상을 기대한다고 말씀해주셨는데 그런 기대는 나에게 부담이 된다고 교수님께 말씀드렸었다ㅠㅠ. 결국 운이 좋게도 우수논문발표상을 수상하였고, 그 때 내가 힘들었던 부분들은 어느정도 보상을 받았다. 이런 성격을 가진 나를 옆에서 이끌고 격려해주었던 석사발표를 코앞에 둔 성우형과 동기 승재,성제,승훈, 교수님,CPS연구실 일원들에게 깊은 감사를 표한다.