SegFormer 다양한 데이터셋 적용법

저장된 데이터 사진


SegFormer를 실제 프로젝트에 적용하면서 다양한 데이터셋에 대한 호환성과 유연성이 얼마나 중요한지 몸소 체감했습니다. 특히 공개 데이터셋뿐 아니라, 자체적으로 구축한 커스텀 데이터셋을 활용해야 할 때는 포맷, 클래스 정의, 분할 비율 등 여러 요소를 직접 설정해야 했습니다. 다행히도 SegFormer는 다양한 데이터셋 포맷과 구조에 유연하게 대응할 수 있도록 설계되어 있어, 기본 구조만 이해하고 나면 새로운 데이터셋을 손쉽게 적용할 수 있습니다. 본 글에서는 SegFormer를 여러 형태의 데이터셋에 적용하는 방법과 함께, 학습 및 검증 데이터셋을 자동으로 분리해 구성하는 전략까지 상세히 다루고자 합니다.

SegFormer가 지원하는 데이터셋 구조 이해

SegFormer는 보통 MMSegmentation 프레임워크 또는 Hugging Face Transformers 라이브러리를 통해 구현되며, 데이터셋은 기본적으로 이미지와 마스크 쌍으로 구성됩니다. 이때 마스크는 클래스마다 픽셀 값을 달리하여 표현되며, 색상이 아닌 인덱스 기반의 정수값으로 저장되는 것이 일반적입니다. 대표적으로 ADE20K, Cityscapes, Pascal VOC, COCO Stuff 등의 데이터셋이 공식적으로 지원되며, 커스텀 데이터셋도 동일한 구조를 따르기만 하면 적용이 가능합니다.

이러한 데이터셋은 주로 다음과 같은 형태로 구성됩니다. 먼저 `images/train`, `images/val` 디렉토리에 이미지 파일이 위치하고, 대응되는 `annotations/train`, `annotations/val`에는 같은 이름의 마스크 파일이 존재합니다. SegFormer는 설정 파일에서 데이터셋 경로, 클래스 수, 클래스 이름 등을 정의하고, 이를 바탕으로 학습 시 자동으로 데이터를 불러옵니다. 이러한 구조만 맞춰주면, 기존에 사용하던 어떤 데이터셋도 쉽게 호환시킬 수 있습니다.

또한 다양한 이미지 해상도를 지원하므로, 고해상도와 저해상도 데이터가 혼합된 경우에도 이미지 리사이즈 설정을 통해 동일한 해상도로 정규화하여 사용할 수 있습니다. 이는 특히 드론 영상이나 CCTV 영상처럼 해상도가 일정하지 않은 데이터셋에서 유용합니다.

학습 및 검증 데이터 자동 분할 전략

SegFormer 학습을 위한 데이터셋을 구성할 때 가장 먼저 고려해야 할 점 중 하나는 학습과 검증 데이터의 분할 비율입니다. 일반적으로 8:2 또는 7:3의 비율이 자주 사용되며, 데이터셋이 충분히 크다면 9:1도 가능합니다. 이때 수작업으로 이미지 파일을 나누는 것은 비효율적이기 때문에, 자동 분할 스크립트를 통해 지정된 비율에 따라 이미지와 마스크를 자동으로 나누어 저장하는 방식을 사용하는 것이 좋습니다.

실제로 Python을 이용한 간단한 스크립트를 작성하면, 전체 이미지 목록을 불러온 후 무작위로 섞고, 설정한 비율에 따라 `train`과 `val` 폴더로 자동 이동시킬 수 있습니다. 마스크 파일도 동일한 파일명을 기반으로 함께 이동시키면, SegFormer가 요구하는 구조를 그대로 자동으로 생성할 수 있습니다. 이를 통해 데이터셋을 재구성하거나 새로운 프로젝트에 맞게 빠르게 초기 세팅을 완료할 수 있습니다.

이 과정은 반복적인 작업을 줄여주고, 실험 간 일관성을 유지하는 데 큰 도움이 됩니다. 특히 여러 가지 실험을 병렬로 수행하거나, 서로 다른 조건으로 여러 모델을 학습시킬 때는 데이터셋 자동 분할 스크립트가 필수적인 도구로 작용합니다. 또한, 검증 데이터셋을 고정해 두고 학습 데이터만 교체하는 방식의 실험도 이러한 자동화 시스템에서 쉽게 구현 가능합니다.

커스텀 데이터셋 적용 시 고려할 사항

SegFormer를 커스텀 데이터셋에 적용할 때에는 몇 가지 사항을 점검해야 합니다. 첫째, 마스크 파일이 정수 인덱스로 저장되어 있는지 확인해야 합니다. 일부 라벨링 도구에서는 RGB 이미지 형태로 저장되는데, 이 경우 별도의 전처리를 통해 클래스를 정수값으로 맵핑하는 과정이 필요합니다. 각 픽셀의 색상을 클래스 인덱스로 변환하는 과정이 포함되지 않으면 학습 시 오류가 발생할 수 있습니다.

둘째, 클래스 수와 클래스 이름을 정확히 정의해야 합니다. SegFormer는 설정 파일에서 `num_classes`와 `classes` 항목을 참조하여 출력을 구성하므로, 클래스 누락이나 오타가 있을 경우 출력 결과가 왜곡될 수 있습니다. 특히 다중 클래스 분할이 필요한 경우, 클래스 간 경계가 뚜렷하도록 마스크를 정교하게 구성하는 것이 성능 향상에 중요합니다.

셋째, 입력 이미지 크기와 마스크 크기가 반드시 일치해야 합니다. 일부 데이터셋에서는 이미지와 마스크의 크기가 다르게 저장된 경우가 있으며, 이 경우 학습 중 shape mismatch 오류가 발생하게 됩니다. 이를 방지하기 위해 모든 이미지와 마스크는 동일한 해상도로 리사이즈하거나 패딩 처리를 통해 정규화된 형태로 맞춰주어야 합니다.

마지막으로, 데이터 증강 전략도 데이터셋의 특성에 맞게 조정되어야 합니다. 예를 들어 도로 분할 데이터의 경우 수평 반전은 유용하지만 수직 반전은 오히려 학습을 방해할 수 있습니다. 따라서 데이터셋의 도메인을 이해하고 그에 맞는 증강 기법을 선택하는 것이 중요합니다. MMSegmentation에서는 학습 설정 파일에서 쉽게 증강 전략을 변경할 수 있으므로 실험에 따라 유동적으로 조정할 수 있습니다.

결론 – 유연한 데이터 구성으로 SegFormer 활용도 극대화

SegFormer는 정확도와 효율성 측면에서 매우 우수한 딥러닝 이미지 분할 모델이며, 다양한 형태의 데이터셋을 유연하게 수용할 수 있는 구조적 장점을 가지고 있습니다. 학습 및 검증 데이터의 자동 분할, 클래스 정의, 입력 크기 정규화 등 몇 가지 핵심 요소만 잘 관리한다면, 어떤 데이터셋이라도 효과적으로 적용할 수 있습니다.

제가 진행했던 프로젝트 중 하나에서는 공공 도로 데이터를 기반으로 한 커스텀 세그멘테이션 모델을 개발하였으며, 초기에 데이터를 수작업으로 분할하다 오류가 반복되었습니다. 이후 자동 분할 스크립트를 도입하고, SegFormer 설정 파일과 연동하여 전체 학습 파이프라인을 자동화하자 실험 시간이 절반 이상 단축되었고, 실험 간 일관성도 유지할 수 있었습니다.

이 글이 SegFormer를 활용해 다양한 데이터셋에 적용하고자 하는 분들께 실질적인 가이드가 되기를 바랍니다. 커스텀 환경에서도 충분히 높은 성능을 끌어낼 수 있도록, 데이터 구성과 자동화 전략에 조금만 더 신경을 기울여보시기 바랍니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

선형회귀와 로지스틱 회귀 – 가장 기초적인 예측 모델들

이미지
머신러닝을 처음 배우던 시절, 다양한 알고리즘들이 복잡하게 느껴졌지만, 그중에서도 선형회귀와 로지스틱 회귀는 이해의 출발점이 되어주었습니다. 특히 데이터를 시각화하고 직선 하나를 그어 예측을 하는 과정은 매우 직관적이었고, 로지스틱 회귀를 통해 분류 문제도 수치적으로 접근할 수 있다는 사실은 신선하게 다가왔습니다. 모델의 복잡함보다는, 그 근간이 되는 수학적 직선과 확률 개념을 얼마나 정확히 이해하느냐가 중요하다는 것을 점차 느끼게 되었습니다. 선형회귀 – 연속적인 수치를 예측하는 가장 단순한 모델 선형회귀(Linear Regression)는 독립 변수와 종속 변수 간의 선형 관계를 기반으로, 입력값에 따라 연속적인 수치 값을 예측하는 회귀 알고리즘입니다. 예를 들어 면적에 따른 집값 예측, 공부 시간에 따른 시험 점수 예측처럼, 결과가 숫자로 나타나는 문제에서 활용됩니다. 선형회귀의 수식은 다음과 같습니다. y = w1x1 + w2x2 + ... + wnxn + b 여기서 y는 예측값, x는 입력 변수, w는 가중치(회귀계수), b는 절편을 의미합니다. 이 모델은 데이터 포인트를 가장 잘 설명하는 직선을 찾는 것이 핵심이며, 손실 함수로는 보통 평균제곱오차(Mean Squared Error, MSE)를 사용합니다. 즉, 실제 값과 예측 값의 차이를 제곱해 평균을 구하고, 이 값을 최소화하는 방향으로 가중치를 조정합니다. 선형회귀의 장점은 해석이 매우 명확하다는 점입니다. 각 변수의 계수가 결과에 어떤 영향을 미치는지 직관적으로 이해할 수 있기 때문에, 통계 분석과 실무 보고서에서도 자주 사용됩니다. 하지만 변수 간 선형성이 없거나, 이상치에 민감한 경우에는 성능이 급격히 떨어질 수 있으므로 주의가 필요합니다. 로지스틱 회귀 – 분류 문제를 위한 회귀 알고리즘 로지스틱 회귀(Logistic Regression)는 선형회귀와 유사한 구조를 가지지만, 결과값이 연속적인 수치가 아닌 범주(클래스) 라는 점에서 차이가 있습니다. 대표적으로 이...
자세한 내용 보기

모델 평가 지표 정리 – 정확도, 정밀도, F1 Score까지

이미지
머신러닝 모델을 처음 만들어봤을 때, 정확도가 90% 이상 나오자 속으로 꽤 잘 만들었다고 생각했습니다. 하지만 막상 실제 데이터에 적용해보니 예측 결과가 엉뚱하게 나오는 경우가 많았습니다. 그때 처음으로 ‘정확도만 보고 판단하면 안 되겠구나’라는 생각이 들었습니다. 이후 정밀도, 재현율, F1 Score 같은 지표들을 접하면서 비로소 모델 성능을 입체적으로 해석하는 것이 얼마나 중요한지 깨닫게 되었습니다. 정확도(Accuracy) – 가장 기본적인 성능 지표 정확도는 전체 예측 중에서 정답으로 맞힌 비율을 나타내는 가장 기본적인 모델 평가 지표입니다. 수식으로는 다음과 같이 표현됩니다. 정확도 = (정답으로 맞힌 건수) / (전체 건수) 예를 들어 100개의 샘플 중에서 90개를 정확히 예측했다면 정확도는 90%입니다. 간단하고 직관적인 지표이기 때문에 많은 입문자들이 가장 먼저 사용하게 됩니다. 그러나 정확도에는 한 가지 큰 함정이 있습니다. 바로 데이터가 불균형한 경우, 높은 정확도에도 불구하고 모델이 쓸모없을 수 있다는 점입니다. 예를 들어 암 환자 데이터 중 95%가 정상이고 5%만 환자일 경우, 모든 샘플을 ‘정상’이라고 예측하면 정확도는 95%가 됩니다. 하지만 이 모델은 정작 암 환자를 전혀 찾아내지 못하는 무의미한 결과를 만들어냅니다. 이처럼 클래스 불균형 문제에서는 정확도 하나만으로 모델을 평가할 수 없습니다. 정밀도(Precision)와 재현율(Recall) – 오류의 방향을 분석하다 정밀도와 재현율은 이진 분류 문제에서 오류의 종류에 따라 성능을 평가하는 데 사용됩니다. 둘은 서로 다른 관점을 제공합니다. 정밀도(Precision) 는 모델이 ‘양성’이라고 예측한 것들 중에서 실제로 양성인 비율을 의미합니다. 즉, 모델이 얼마나 신중하게 양성으로 판단했는지를 나타냅니다. 정밀도 = TP / (TP + FP) (TP: 진짜 양성, FP: 거짓 양성) 예를 들어 스팸 필터에서 스팸으로 분류된 메일 중 실제로 스팸인...
자세한 내용 보기

지도학습 vs 비지도학습 – 머신러닝의 대표 학습 방식 비교

이미지
머신러닝 공부를 막 시작했을 때 가장 헷갈렸던 개념 중 하나는 지도학습과 비지도학습의 차이였습니다. 처음에는 단순히 정답이 있는지 없는지의 차이라고 들었지만, 실제로 다양한 문제를 접하고 적용해보니 그 차이는 훨씬 더 근본적이고 실용적인 관점에서 이해되어야 한다는 것을 깨달았습니다. 이 두 방식은 머신러닝을 배우는 입장에서 가장 기본이면서도, 실제 데이터를 어떻게 다뤄야 하는지를 결정짓는 출발점이기도 합니다. 지도학습 – 정답이 있는 데이터로부터 배우다 지도학습(Supervised Learning)은 학습 데이터에 입력(Input)과 정답(Output)이 명확히 주어진 상태에서 모델을 훈련시키는 방식입니다. 즉, 기계는 입력값에 대해 어떤 결과가 나와야 하는지를 미리 알고 있고, 이를 기준으로 오차를 줄여가며 학습합니다. 예를 들어 이메일이 스팸인지 아닌지를 분류하는 문제에서는, 이미 ‘스팸’ 혹은 ‘정상’이라는 라벨이 붙은 수천 개의 메일을 학습 데이터로 사용합니다. 이 데이터를 통해 머신러닝 모델은 특정 단어나 발신자 정보, 메일 구조 등의 특징을 학습하고, 이후 새로운 메일에 대해서도 스팸 여부를 예측할 수 있게 됩니다. 지도학습에서 가장 대표적인 문제 유형은 두 가지입니다. 하나는 ‘분류(Classification)’ 문제로, 특정 입력이 어떤 범주에 속하는지를 예측하는 것입니다. 예를 들어 암 진단 모델이 입력된 의료 데이터를 보고 양성인지 음성인지 판단하는 것이 여기에 해당합니다. 다른 하나는 ‘회귀(Regression)’ 문제로, 연속적인 수치를 예측하는 데 사용됩니다. 예를 들어 주택의 면적, 위치, 층수 등을 보고 가격을 예측하는 모델이 대표적인 회귀 문제입니다. 지도학습의 장점은 명확한 목표와 피드백을 통해 빠르게 학습할 수 있다는 점이며, 결과의 정확도 역시 비교적 높게 유지됩니다. 그러나 단점으로는 정답 데이터를 만드는 데 시간이 많이 들고, 현실에서 라벨이 없는 데이터가 훨씬 많다는 한계가 존재합니다. 비지도학습 – ...
자세한 내용 보기