SegFormer 학습 데이터 준비 가이드

컴퓨터 사용 사진


SegFormer를 실제 프로젝트에 적용하기 위해 처음으로 마주한 과제는 학습 데이터를 어떻게 구성할 것인가였습니다. 분할 모델의 성능은 대부분 데이터 품질과 라벨링 정확도에 크게 좌우되기 때문에, 단순히 이미지와 마스크를 모으는 것 이상으로 많은 요소를 고려해야 했습니다. 특히 다양한 해상도의 이미지와 복잡한 객체가 혼재된 환경에서 SegFormer를 학습시키기 위해선 체계적인 데이터 준비 과정이 필수였습니다. 이 글에서는 SegFormer 학습에 필요한 데이터 구성 방법, 라벨 포맷, 전처리 과정까지 전반적인 준비 가이드를 설명드리겠습니다.

SegFormer 학습을 위한 데이터셋 구성

SegFormer는 시맨틱 분할(Semantic Segmentation) 모델로, 각 픽셀이 어떤 클래스에 속하는지를 예측하는 방식입니다. 따라서 학습에는 두 가지 정보가 필요합니다. 첫째는 원본 이미지이며, 둘째는 각 이미지와 1:1로 대응되는 분할 마스크입니다. 이 마스크는 이미지와 동일한 크기의 흑백 또는 팔레트 이미지로, 각 픽셀의 값이 클래스 ID를 의미합니다.

데이터셋을 구성할 때 가장 중요한 것은 이미지와 마스크 간의 정확한 일치입니다. 크기나 비율이 다를 경우 학습 과정에서 에러가 발생할 수 있으며, 작은 오차도 모델 성능에 큰 영향을 미칠 수 있습니다. 일반적으로는 이미지와 마스크 파일명이 동일하고, 디렉터리 내에 각각 분리된 상태로 배치하는 것이 좋습니다.

클래스 수가 많을수록 라벨 간의 혼동 가능성이 높아지므로, 가능한 명확하게 클래스 정의를 해두는 것이 필요합니다. 예를 들어 road, building, tree, person, car 등 클래스별로 고유한 ID를 할당하고, 이를 학습 스크립트 또는 config 파일 내에서 명시해주어야 합니다. 특히 background 클래스의 경우 ID를 0으로 설정하는 것이 일반적이며, 이를 기준으로 나머지 클래스가 순차적으로 번호가 부여됩니다.

데이터셋이 많지 않은 경우에는 공개된 데이터셋(Cityscapes, ADE20K, Pascal VOC 등)을 활용하거나, 적은 양의 데이터라도 클래스별 균형이 맞춰지도록 구성하는 것이 바람직합니다. 특정 클래스만 과다하게 포함된 데이터셋은 편향된 모델을 만들어낼 수 있으므로, 클래스 분포를 통계적으로 점검하고 부족한 클래스에 대해 데이터를 추가 확보하거나 증강을 적용하는 방법이 유용합니다.

분할 마스크 라벨링과 전처리 전략

SegFormer 학습에 사용할 분할 마스크는 일반적인 객체 탐지에서 사용하는 바운딩 박스 형태가 아닌, 픽셀 단위의 클래스 정보가 포함되어야 합니다. 이를 위해서는 라벨링 도구를 이용하여 직접 마스크를 생성하거나, 기존의 어노테이션을 변환해주는 작업이 필요합니다.

가장 많이 사용되는 라벨링 도구로는 CVAT, LabelMe, Supervisely, Segment Anything UI 등이 있으며, 이들 툴을 통해 생성한 데이터는 PNG 형식의 마스크 이미지로 저장됩니다. 저장된 마스크 이미지는 각 픽셀의 색상이 아닌, 해당 위치의 클래스 ID를 나타내는 정수값으로 구성되어 있어야 합니다. 컬러 기반 마스크를 사용하는 경우에는 별도의 매핑 과정이 필요합니다.

이미지와 마스크의 전처리는 모델의 입력 조건에 맞게 이루어져야 합니다. SegFormer는 다양한 해상도를 지원하지만, 훈련 효율성을 위해 일반적으로 512x512 또는 1024x1024와 같은 정사각형 크기로 리사이징합니다. 이때, 이미지와 마스크는 반드시 동일한 방식으로 리사이징되어야 하며, 이미지 보간(interpolation) 방식과 마스크 보간 방식이 다르게 설정되어야 합니다. 예를 들어 이미지는 bilinear 보간, 마스크는 nearest 보간을 사용해야 라벨 값이 손상되지 않습니다.

데이터 증강(Augmentation)도 중요한 전처리 요소 중 하나입니다. 좌우 반전, 회전, 색상 변화, 크기 조절 등의 기법은 모델이 다양한 상황에 잘 대응할 수 있도록 도와줍니다. 그러나 마스크 이미지에 동일한 변형을 적용하지 않으면 학습이 무의미해지므로, 증강 라이브러리는 이미지와 마스크를 동시에 처리할 수 있는 기능이 있어야 합니다. 대표적으로 Albumentations는 강력한 증강 기능과 함께 이미지-마스크 동시 처리를 지원하므로 널리 사용됩니다.

클래스 매핑, config 설정과 데이터 검증

SegFormer를 학습시키기 위해서는 클래스 정보가 정확히 매핑되어 있어야 하며, 모델 설정 파일(config)과 일관되게 정의되어야 합니다. 일반적으로는 class_names 목록과 class_id의 순서를 명시하고, 학습 코드에서 이 정보를 불러와 학습 및 평가 지표에 활용합니다. 예를 들어, 클래스가 background, road, car, person이라면 순서에 따라 0~3번의 ID가 할당되고, 마스크 이미지에서도 해당 픽셀 값으로 표현됩니다.

클래스 매핑이 잘못되었을 경우에는 평가 지표가 비정상적으로 계산되거나, 모델이 학습되지 않는 문제가 발생할 수 있습니다. 이를 방지하기 위해 학습 전 사전 점검을 수행하는 것이 바람직합니다. 예를 들어, 무작위로 몇 개의 이미지와 마스크를 시각화하여 클래스별 색상이 정확히 대응되는지 확인하고, 통계 분석을 통해 클래스별 픽셀 분포를 파악함으로써 데이터 불균형 여부를 판단할 수 있습니다.

마지막으로, 전체 데이터셋은 학습(train), 검증(val), 테스트(test)로 구분되어야 하며, 각 세트는 가능한 클래스 분포가 유사하도록 구성하는 것이 좋습니다. 불균형한 구성은 모델 성능 평가를 왜곡할 수 있고, 특정 클래스에 대한 일반화 성능이 떨어질 수 있습니다. 이를 위해 stratified split 또는 클래스 균형 기준의 샘플링 전략을 활용할 수 있습니다.

결론 – SegFormer 성공 학습의 출발점, 데이터 준비

SegFormer는 고성능의 시맨틱 분할 모델이지만, 그 진정한 성능은 학습에 사용되는 데이터셋의 품질에 달려 있습니다. 데이터 구성, 라벨링, 전처리, 클래스 매핑까지 모든 과정이 세심하게 설계되어야만 모델이 실제 환경에서도 유효한 예측을 수행할 수 있습니다.

제가 진행했던 프로젝트에서도 초기에 라벨 포맷 오류와 클래스 매핑 실수로 인해 모델 성능이 낮았고, 이를 바로잡기까지 많은 시행착오가 있었습니다. 그러나 데이터셋을 구조화하고, 클래스 불균형을 해소하며, 정확한 전처리 과정을 거친 후에는 의미 있는 결과를 얻을 수 있었습니다.

SegFormer를 처음 접하시는 분이라면, 모델 구조만큼이나 데이터 준비가 중요하다는 점을 꼭 기억하시기 바랍니다. 본 가이드가 여러분의 프로젝트에 도움이 되기를 바랍니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

모델 평가 지표 정리 – 정확도, 정밀도, F1 Score까지

이미지
머신러닝 모델을 처음 만들어봤을 때, 정확도가 90% 이상 나오자 속으로 꽤 잘 만들었다고 생각했습니다. 하지만 막상 실제 데이터에 적용해보니 예측 결과가 엉뚱하게 나오는 경우가 많았습니다. 그때 처음으로 ‘정확도만 보고 판단하면 안 되겠구나’라는 생각이 들었습니다. 이후 정밀도, 재현율, F1 Score 같은 지표들을 접하면서 비로소 모델 성능을 입체적으로 해석하는 것이 얼마나 중요한지 깨닫게 되었습니다. 정확도(Accuracy) – 가장 기본적인 성능 지표 정확도는 전체 예측 중에서 정답으로 맞힌 비율을 나타내는 가장 기본적인 모델 평가 지표입니다. 수식으로는 다음과 같이 표현됩니다. 정확도 = (정답으로 맞힌 건수) / (전체 건수) 예를 들어 100개의 샘플 중에서 90개를 정확히 예측했다면 정확도는 90%입니다. 간단하고 직관적인 지표이기 때문에 많은 입문자들이 가장 먼저 사용하게 됩니다. 그러나 정확도에는 한 가지 큰 함정이 있습니다. 바로 데이터가 불균형한 경우, 높은 정확도에도 불구하고 모델이 쓸모없을 수 있다는 점입니다. 예를 들어 암 환자 데이터 중 95%가 정상이고 5%만 환자일 경우, 모든 샘플을 ‘정상’이라고 예측하면 정확도는 95%가 됩니다. 하지만 이 모델은 정작 암 환자를 전혀 찾아내지 못하는 무의미한 결과를 만들어냅니다. 이처럼 클래스 불균형 문제에서는 정확도 하나만으로 모델을 평가할 수 없습니다. 정밀도(Precision)와 재현율(Recall) – 오류의 방향을 분석하다 정밀도와 재현율은 이진 분류 문제에서 오류의 종류에 따라 성능을 평가하는 데 사용됩니다. 둘은 서로 다른 관점을 제공합니다. 정밀도(Precision) 는 모델이 ‘양성’이라고 예측한 것들 중에서 실제로 양성인 비율을 의미합니다. 즉, 모델이 얼마나 신중하게 양성으로 판단했는지를 나타냅니다. 정밀도 = TP / (TP + FP) (TP: 진짜 양성, FP: 거짓 양성) 예를 들어 스팸 필터에서 스팸으로 분류된 메일 중 실제로 스팸인...
자세한 내용 보기

선형회귀와 로지스틱 회귀 – 가장 기초적인 예측 모델들

이미지
머신러닝을 처음 배우던 시절, 다양한 알고리즘들이 복잡하게 느껴졌지만, 그중에서도 선형회귀와 로지스틱 회귀는 이해의 출발점이 되어주었습니다. 특히 데이터를 시각화하고 직선 하나를 그어 예측을 하는 과정은 매우 직관적이었고, 로지스틱 회귀를 통해 분류 문제도 수치적으로 접근할 수 있다는 사실은 신선하게 다가왔습니다. 모델의 복잡함보다는, 그 근간이 되는 수학적 직선과 확률 개념을 얼마나 정확히 이해하느냐가 중요하다는 것을 점차 느끼게 되었습니다. 선형회귀 – 연속적인 수치를 예측하는 가장 단순한 모델 선형회귀(Linear Regression)는 독립 변수와 종속 변수 간의 선형 관계를 기반으로, 입력값에 따라 연속적인 수치 값을 예측하는 회귀 알고리즘입니다. 예를 들어 면적에 따른 집값 예측, 공부 시간에 따른 시험 점수 예측처럼, 결과가 숫자로 나타나는 문제에서 활용됩니다. 선형회귀의 수식은 다음과 같습니다. y = w1x1 + w2x2 + ... + wnxn + b 여기서 y는 예측값, x는 입력 변수, w는 가중치(회귀계수), b는 절편을 의미합니다. 이 모델은 데이터 포인트를 가장 잘 설명하는 직선을 찾는 것이 핵심이며, 손실 함수로는 보통 평균제곱오차(Mean Squared Error, MSE)를 사용합니다. 즉, 실제 값과 예측 값의 차이를 제곱해 평균을 구하고, 이 값을 최소화하는 방향으로 가중치를 조정합니다. 선형회귀의 장점은 해석이 매우 명확하다는 점입니다. 각 변수의 계수가 결과에 어떤 영향을 미치는지 직관적으로 이해할 수 있기 때문에, 통계 분석과 실무 보고서에서도 자주 사용됩니다. 하지만 변수 간 선형성이 없거나, 이상치에 민감한 경우에는 성능이 급격히 떨어질 수 있으므로 주의가 필요합니다. 로지스틱 회귀 – 분류 문제를 위한 회귀 알고리즘 로지스틱 회귀(Logistic Regression)는 선형회귀와 유사한 구조를 가지지만, 결과값이 연속적인 수치가 아닌 범주(클래스) 라는 점에서 차이가 있습니다. 대표적으로 이...
자세한 내용 보기

지도학습 vs 비지도학습 – 머신러닝의 대표 학습 방식 비교

이미지
머신러닝 공부를 막 시작했을 때 가장 헷갈렸던 개념 중 하나는 지도학습과 비지도학습의 차이였습니다. 처음에는 단순히 정답이 있는지 없는지의 차이라고 들었지만, 실제로 다양한 문제를 접하고 적용해보니 그 차이는 훨씬 더 근본적이고 실용적인 관점에서 이해되어야 한다는 것을 깨달았습니다. 이 두 방식은 머신러닝을 배우는 입장에서 가장 기본이면서도, 실제 데이터를 어떻게 다뤄야 하는지를 결정짓는 출발점이기도 합니다. 지도학습 – 정답이 있는 데이터로부터 배우다 지도학습(Supervised Learning)은 학습 데이터에 입력(Input)과 정답(Output)이 명확히 주어진 상태에서 모델을 훈련시키는 방식입니다. 즉, 기계는 입력값에 대해 어떤 결과가 나와야 하는지를 미리 알고 있고, 이를 기준으로 오차를 줄여가며 학습합니다. 예를 들어 이메일이 스팸인지 아닌지를 분류하는 문제에서는, 이미 ‘스팸’ 혹은 ‘정상’이라는 라벨이 붙은 수천 개의 메일을 학습 데이터로 사용합니다. 이 데이터를 통해 머신러닝 모델은 특정 단어나 발신자 정보, 메일 구조 등의 특징을 학습하고, 이후 새로운 메일에 대해서도 스팸 여부를 예측할 수 있게 됩니다. 지도학습에서 가장 대표적인 문제 유형은 두 가지입니다. 하나는 ‘분류(Classification)’ 문제로, 특정 입력이 어떤 범주에 속하는지를 예측하는 것입니다. 예를 들어 암 진단 모델이 입력된 의료 데이터를 보고 양성인지 음성인지 판단하는 것이 여기에 해당합니다. 다른 하나는 ‘회귀(Regression)’ 문제로, 연속적인 수치를 예측하는 데 사용됩니다. 예를 들어 주택의 면적, 위치, 층수 등을 보고 가격을 예측하는 모델이 대표적인 회귀 문제입니다. 지도학습의 장점은 명확한 목표와 피드백을 통해 빠르게 학습할 수 있다는 점이며, 결과의 정확도 역시 비교적 높게 유지됩니다. 그러나 단점으로는 정답 데이터를 만드는 데 시간이 많이 들고, 현실에서 라벨이 없는 데이터가 훨씬 많다는 한계가 존재합니다. 비지도학습 – ...
자세한 내용 보기