[객체 탐지 성능 지표] 성능, 속도 평가 지표

- 모델을 선택한 이유를 적기 위해서 

모델 별 비교를 찾는데 

성능지표를 잘 모르니 헷갈렸음. 

 

- 검색을 하다 보니 

정리 되게 잘해주셔 나중에도 보려고 가지고 왔다. 

 

https://ai-bt.tistory.com/entry/01-Object-Detection

Object Detection 정의와 Evaluation metric (평가지표)

 

- 위 글을 바탕으로 정리 

 

성능 평가
confusion  matrix
precision	recall	PR Curve	AP	IOU
- 모델의 정답 예측 중 실제로 정답 - TP/전체 탐지(TP+FP) - 높으면, 오탐(FP)이 적음	- 정답 중에 정답이라고 예측  - TP/실제 정답들(TP+FN) - 높으면, 누락(FN)이 적음	- 오른쪽 위로 치우칠수록 P,R 균형 => 성능 좋음 - 아래로 쳐지면, 둘 중에 하나가 낮음  => 본인이 중요시하는 게 오탐의 최소화 or 정답의 최대화 인지에 따라서	- PR Curve에서 R축을 기준으로 P값을 적분한 면적 값 - 각 클래스마다 계산한 값의 평균의 mAP - 면적이 크면 P,R 모두 높은 성능.  => 오탐, 누락이 적음	- Intersection Over Union - 예측된 것과 실제 바운딩 박스의 교집합 / 합집합 - IOU 가 1에 가까울 수록 정확하게 객체의 위치 예측  - mAP50 -> mAP + IOU 0.5 이상이면 T, 아니면 F

 

속도 평가
FPS (Frames Per Second)	FLOPs (Floating Point Operations per Second)
- 모델이 1초 동안 처리할 수 있는 프레임(이미지)의 개수  - 실시간 성능이 중요한 컴퓨터 비젼에서 속도 평가 - 높은 FPS: 모델이 이미지를 빠르게 처리 가능  예. FPS=30 : 1초에 30개 이미지를 처리 가능 => 실시간성, 시스템 효율성 중시  - 낮은 FPS: 느림. 처리지연 발생 가능	- 모델이 1초 동안 처리할 수 있는 부동소수점 연산(floating point operations)의 개수  - 모델의 연산 복잡도 지표 - 모델의 크기나 복잡도, 성능을 평가하는 데 사용 - 높으면, 모델이 복잡한 연산을 많이 수행하는 것을 의미 -> 연산이 많으면 일반적으로 모델이 복잡하고 더 정확한 예측을 할 수도 있으나, 연산량이 많기에 속도가 느려질 수 있음.  - 낮으면 연산량이 적고, 빠르게 처리가 가능함.  -> 단, 모델의 성능이나 예측정확도가 떨어질 수 있음.  => 연산 효율성, 모델 비교, 하드웨어 요구사항(높으면 강력한 GPU, CPU 가 필요) 등에서 중요