메디노드 · 주임연구원 · 2024.07 – 2026.04

일의 흐름

① 데이터

제품 촬영, 정리, 통계 자료 작성

② 검수·정제

모델 기반 정제, 수동 검수, 검수 인력에 작업 배분

③ 학습

기존 EfficientNet 파이프라인으로 고객별 모델 학습

④ 분석·대응

오분류 샘플 확인, 성능 문의 대응, 다시 ①로

문제

여러 번 정제한 데이터에서도 오류가 계속 나왔습니다. 사람이 검수해도 기준을 읽는 방식이나 피로에 따라 차이가 생겼습니다. 모델을 바꿔도 뚜렷한 개선이 보이지 않던 시기에는, 시도가 효과가 없는 건지 데이터 탓인지 가려내기 어려웠습니다. 돌아보면 정제한 데이터에도 남아 있던 오류가 큰 원인이었습니다.

시도한 것

• 성능 보완을 위해 모델 구조와 전처리를 바꿔 봤습니다.
• YOLO와 OCR을 더 쓸 수 있는지 시험했습니다. OCR은 제품 표면의 음각·양각 문자, 여러 글씨체와 방향을 다뤄야 했습니다. 데이터가 부족해 기대한 개선을 확인하지 못한 시도는 제품에 넣지 않았습니다.
• 상대적으로 믿을 수 있는 샘플만 골라 양을 줄였을 때, 객체의 배경을 지웠을 때 평가가 더 좋아진 경우가 있었습니다. 모든 상황의 법칙으로 보지는 않습니다.

만든 도구

Streamlit 검수 도구

데이터와 오분류 샘플을 확인하는 내부 도구. 실제로 써 보니 응답 속도가 느려서, 화면만큼 반복 사용의 속도와 편의성이 중요하다는 걸 배웠습니다.

모델 보조 라벨링

Label Studio를 업무에 맞게 고치고, GPU 없는 데이터 서버 대신 Jetson을 추론 서버로 두어 FastAPI로 연결한 프로토타입. 팀에서 다른 라벨링 도구를 쓰기로 하면서 운영에는 쓰지 않았습니다.

YOLO 초벌 라벨

일부를 사람이 라벨링해 초기 모델을 학습하고, 그 예측을 초벌 라벨로 써서 라벨링 도구에서 고치는 흐름. 사람의 확인과 수정은 계속 필요했습니다.

데이터 관리

데이터는 주로 파일과 폴더 기준으로 관리했습니다. 여러 사람이 고치고 다시 합치는 과정에서 어떤 샘플이 어떤 처리를 거쳤는지 확인하기 어려웠고, 옮기고 가공하는 중의 누락이나 원본 손상에 주의해야 했습니다. 이를 해결하는 관리 시스템까지 완성하지는 못했습니다.

배운 점

• 제가 다룬 데이터에서는 모델 구조만큼 샘플 상태와 촬영 조건을 살피는 일이 중요했습니다.
• 정제를 몇 번 했는지보다 어떤 오류가 남아 있는지 확인할 수 있어야 합니다. 클래스 안의 세부 유형이 치우치지 않았는지, 위치나 회전처럼 일부 샘플에만 있는 조건은 없는지도 봐야 했습니다.
• OpenCV 규칙은 촬영 조건이나 제품 특성이 바뀌면 맞지 않는 경우가 있었습니다. 그래서 모델이나 전처리를 먼저 정하기보다, 실제 데이터에서 무엇이 달라지고 어떤 오류가 생기는지 함께 확인하려 합니다.
• 원본 보존, 작업 상태, 수정 이력을 확인할 수 있는 구조가 데이터 처리 기능만큼 필요하다고 생각하게 됐습니다.

← 송승훈 Seunghun Song · Portfolio