프로젝트 개요
* 사진출처:
- 구글링, 네이버를 통한 직접수집(커스텀)
- pothole 37, nonpothole 37
- 반수동 어노테이션 (roboflow)
* 데이터 준비:
-roboflow를 활용하여 반수동으로 어노테이션 작업 수행
- 데이터 증강(grayscale, saturation, Exposure)을 통해 총 352장의 데이터 생성
- 데이터 분할 [train 306 // Validation 30 // Test 16]
모델 학습 결과
- 사용 모델 : YOLOv8n
- 주요 지표 설명 ↓
Precision: 탐지한 것 중 올바른 비율(높을수록 오탐지가 적음).
Recall: 전체 객체 중 탐지한 비율(높을수록 탐지 성능이 좋음).
mAP: 탐지 정확도를 종합적으로 나타냄.
Speed: 학습 및 추론 속도를 나타냄.
| model | yolov8n | yolov8n |
| epochs | 10 | 50 (1.726시간) |
| Precision(정밀도) | 0.508 | 0.888 |
| R(recall 재현율) | 0.413 | 0.395 |
| mAP50 (mean Average Precision @ IoU=0.5) |
0.403 | 0.529 |
| mAP50-95 | 0.191 | 0.248 |
| 결과 | 정밀도와 mAP50이 낮아서 에포크를 높이기로 결정 |
정밀도는 크게 개선됐으나, 재현율이 낮아 탐지되지 않은 객체가 많음 |
위 사진을 보고 얼추 잘 잡는다고 생각하고 직접 영사을 찍어서 왔는데 잘 못잡는것을 확인했습니다.
의심되는 상황은 road color와 유사해서 잘 못잡나 해서 테스트로 다른 이미지를 가지고 다시 테스트 해봤는데
잘 잡는결과를 확인할 수 있습니다.
참고로 잘 못잡는 pothole은 위 사진입니다.
결과 분석
1. 정밀도(Precision)
* 에포크 50에서 0.888로 크게 개선되어 오탐지 감소
2. 재현율(Recall)
* 에포크 50에서도 0.395로 큰 변화가 없었으며 탐지되지 않은 객체가 많음
3. mAP
* mAP@0.5는 0.529로 개선되었으나, 엄격한 기준인 mAP@0.5:0.95에서는 0.248로 여전히 낮은 수준.
4. 학습 그래프:
* 손실(Loss)감소 추세는 있지만 불안정한 변동이 나타남.
* 에포크 증가 정밀도와 mAP에 긍정적인 영향을 미쳤으나 재현율의 개선은 미흡함..
그래프로 보자면...
제약 사항
1. YOLOv8m, YOLOv8s 모델:
구글 코랩 무료 버전에서 RAM 제한으로 인해 사용 불가.
결론
이번 실험에서는 정밀도와 mAP가 개선된것을 확인했지만 재현율의 한계로인해 탐지되지 않은 객체가 있었습니다.
데이터가 많이 부족했던 탓도 있기때문에 데이터 증강, 에포크 추가 학습을 통해 성능개선을 시도해 볼 계획입니다.
세부사항
1. 데이터 증강 (서치)
2. 에포크 70~100으로 늘려서 성능 안정화를 시도해보려고합니다.
'Project > pothole' 카테고리의 다른 글
| [yolo]욜로활용한 도로 포트홀 구분프로젝트 (2) (1) | 2024.12.18 |
|---|
