SegFormer 구조 분석 – 트랜스포머 기반

구조분석 사진

이미지 분할 모델을 실무에 적용하려 할 때 가장 고민되는 부분은 ‘정확도와 속도’라는 두 마리 토끼를 어떻게 잡을 수 있는가였습니다. 기존 CNN 기반 모델은 경량화는 가능하지만 정밀한 경계 추출이 어려웠고, 반대로 트랜스포머 기반 모델은 정확하지만 너무 무거웠습니다. 그 사이에서 SegFormer는 성능과 효율을 모두 만족시키는 모델로 등장하였고, 특히 그 구조적인 설계가 매우 인상 깊었습니다. 본 글에서는 SegFormer의 내부 구조를 중심으로 트랜스포머 기반이 어떻게 이미지 분할 문제에 적절히 적용되었는지를 상세히 분석하겠습니다.

SegFormer의 전체 구조 개요

SegFormer는 크게 두 부분으로 구성되어 있습니다. 첫째는 트랜스포머 기반의 인코더(Encoder)이며, 둘째는 매우 단순화된 디코더(Decoder)입니다. 전체 구조는 입력 이미지를 Hierarchical하게 처리하는 MiT(Mix Vision Transformer) 백본 인코더를 통해 특징을 추출한 뒤, MLP 기반의 디코더로 이를 복원하여 시맨틱 분할 결과를 출력하는 방식입니다.

전통적인 분할 모델에서는 인코더-디코더 구조가 CNN을 기반으로 하고 있으며, 풀링(pooling)과 업샘플링(upsampling) 단계를 반복합니다. 그러나 SegFormer는 이 접근에서 벗어나, 인코더에는 트랜스포머 기반 계층형 아키텍처를 적용하였고, 디코더는 복잡한 업샘플링이나 스킵 연결 없이 다층 퍼셉트론(MLP)만을 사용합니다. 이러한 구조 덕분에 파라미터 수는 줄이면서도 성능은 기존 모델과 동등하거나 그 이상을 유지할 수 있게 되었습니다.

SegFormer는 B0부터 B5까지 다양한 크기의 백본을 제공하며, 각각은 연산량과 정확도 측면에서 선택의 폭을 넓혀줍니다. 예를 들어 B0는 모바일 환경에서도 동작할 정도로 경량화되어 있고, B5는 높은 정확도가 필요한 분야에 적합합니다. 이와 같은 계층적 설계는 실제 산업 응용에서 매우 유용하게 작용합니다.

MiT 백본: Hierarchical Transformer Encoder

SegFormer의 인코더 역할을 하는 MiT(Mix Vision Transformer)는 기존 트랜스포머 구조와는 다소 차이가 있습니다. 일반적인 ViT(Vision Transformer)는 전체 이미지를 동일한 크기의 패치로 나누고, 이를 평탄화(flatten)하여 1차원 시퀀스로 처리합니다. 그러나 이 방식은 국소적인 정보를 놓칠 수 있고, 고해상도 이미지에서는 연산량이 급격히 증가합니다.

MiT는 이러한 문제를 해결하기 위해 CNN의 장점인 지역성(locality)을 일부 도입하였습니다. 입력 이미지를 계층적으로 나누고, 각 단계에서 서로 다른 해상도와 채널 수를 가진 특징맵을 생성합니다. 초기 단계에서는 더 세밀한 정보를, 후반 단계로 갈수록 더 추상적인 정보를 처리할 수 있게 하여, 전체적인 문맥과 국소 정보의 균형을 맞추는 구조입니다.

또한, MiT는 기존 트랜스포머의 self-attention 메커니즘을 공간 감쇠(spatial reduction) 방식으로 최적화하였습니다. 기존 self-attention은 연산량이 입력 크기의 제곱에 비례하는 반면, MiT는 연산 복잡도를 줄이기 위해 key와 value의 해상도를 줄여서 attention 연산을 수행합니다. 이를 통해 성능 저하 없이 속도를 크게 향상시킬 수 있게 되었습니다.

각 레이어에서는 patch embedding을 통해 입력 특징을 정리하고, 이어지는 트랜스포머 블록에서 self-attention과 feed-forward 네트워크가 적용됩니다. 이러한 블록은 각 계층마다 반복되며, 최종적으로 네 개의 단계에서 각각 다른 크기의 특징맵을 출력합니다. 이 출력들은 모두 디코더로 전달되어 최종 분할 결과 생성에 사용됩니다.

MLP 기반 디코더: 단순함 속의 효율

SegFormer의 또 다른 큰 특징은 디코더의 단순함입니다. 기존 분할 모델에서는 디코더에서 복잡한 업샘플링 구조, skip connection, convolutional fusion이 사용되는 경우가 많습니다. 예를 들어 U-Net은 인코더의 중간 출력들을 skip connection으로 디코더에 연결하고, 이를 convolution으로 통합하여 고해상도 정보를 복원합니다.

그러나 SegFormer는 이러한 복잡한 설계를 모두 생략하고, MLP(Multi-Layer Perceptron)만으로 구성된 디코더를 사용합니다. 인코더에서 출력된 네 개의 특징맵은 크기가 다르기 때문에, 먼저 이들을 동일한 해상도로 보간하여 맞추고, 각 특징맵에 독립적인 MLP를 적용하여 정보를 정제합니다. 이후 이들을 단순히 합쳐 최종 분할 맵을 생성합니다.

MLP 기반 디코더는 매우 간단한 구조임에도 불구하고, 인코더가 충분히 풍부한 정보를 전달하기 때문에 복잡한 연산이 필요하지 않습니다. 이 접근은 연산량과 메모리 사용량을 크게 줄이는 동시에, 높은 추론 속도를 유지할 수 있게 해줍니다. 또한 디코더 구조가 간단하므로, 배포 환경에서 최적화가 용이하고, 다양한 플랫폼에 적용하는 데도 유리합니다.

결과적으로 SegFormer는 복잡한 후처리 없이도 고해상도 분할 결과를 빠르게 생성할 수 있으며, 다양한 응용 분야에서 유연하게 활용될 수 있습니다. 특히 실시간 처리나 경량 모델이 요구되는 환경에서 매우 효과적입니다.

결론 – 구조적 설계가 만든 성능과 속도의 균형

SegFormer는 트랜스포머 기반의 이미지 분할 모델 중에서도 구조적 간결함과 연산 효율성을 동시에 달성한 대표적인 사례입니다. 계층형 인코더인 MiT 백본을 통해 전역 문맥과 지역 정보를 모두 활용하며, 단순한 MLP 디코더를 통해 빠른 추론과 효율적인 배포를 가능하게 합니다.

제가 직접 적용해 본 프로젝트에서도, 복잡한 모델을 사용했을 때보다 SegFormer가 훨씬 빠르게 추론을 수행하였고, 그럼에도 불구하고 정확도는 비슷하거나 더 뛰어났던 경우가 많았습니다. 특히 다양한 해상도의 데이터에 대응하기 쉬운 구조라서, 입력 사이즈에 민감하지 않고 안정적인 결과를 보여주었습니다.

이미지 분할 분야에서 정확도만큼이나 속도와 효율성이 중요한 환경이라면, SegFormer는 매우 합리적인 선택이 될 수 있습니다. 향후 분할 모델을 선택하거나 구조를 참고할 때, SegFormer의 구조적 설계는 충분히 좋은 기준점이 될 것입니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

모델 평가 지표 정리 – 정확도, 정밀도, F1 Score까지

이미지
머신러닝 모델을 처음 만들어봤을 때, 정확도가 90% 이상 나오자 속으로 꽤 잘 만들었다고 생각했습니다. 하지만 막상 실제 데이터에 적용해보니 예측 결과가 엉뚱하게 나오는 경우가 많았습니다. 그때 처음으로 ‘정확도만 보고 판단하면 안 되겠구나’라는 생각이 들었습니다. 이후 정밀도, 재현율, F1 Score 같은 지표들을 접하면서 비로소 모델 성능을 입체적으로 해석하는 것이 얼마나 중요한지 깨닫게 되었습니다. 정확도(Accuracy) – 가장 기본적인 성능 지표 정확도는 전체 예측 중에서 정답으로 맞힌 비율을 나타내는 가장 기본적인 모델 평가 지표입니다. 수식으로는 다음과 같이 표현됩니다. 정확도 = (정답으로 맞힌 건수) / (전체 건수) 예를 들어 100개의 샘플 중에서 90개를 정확히 예측했다면 정확도는 90%입니다. 간단하고 직관적인 지표이기 때문에 많은 입문자들이 가장 먼저 사용하게 됩니다. 그러나 정확도에는 한 가지 큰 함정이 있습니다. 바로 데이터가 불균형한 경우, 높은 정확도에도 불구하고 모델이 쓸모없을 수 있다는 점입니다. 예를 들어 암 환자 데이터 중 95%가 정상이고 5%만 환자일 경우, 모든 샘플을 ‘정상’이라고 예측하면 정확도는 95%가 됩니다. 하지만 이 모델은 정작 암 환자를 전혀 찾아내지 못하는 무의미한 결과를 만들어냅니다. 이처럼 클래스 불균형 문제에서는 정확도 하나만으로 모델을 평가할 수 없습니다. 정밀도(Precision)와 재현율(Recall) – 오류의 방향을 분석하다 정밀도와 재현율은 이진 분류 문제에서 오류의 종류에 따라 성능을 평가하는 데 사용됩니다. 둘은 서로 다른 관점을 제공합니다. 정밀도(Precision) 는 모델이 ‘양성’이라고 예측한 것들 중에서 실제로 양성인 비율을 의미합니다. 즉, 모델이 얼마나 신중하게 양성으로 판단했는지를 나타냅니다. 정밀도 = TP / (TP + FP) (TP: 진짜 양성, FP: 거짓 양성) 예를 들어 스팸 필터에서 스팸으로 분류된 메일 중 실제로 스팸인...
자세한 내용 보기

선형회귀와 로지스틱 회귀 – 가장 기초적인 예측 모델들

이미지
머신러닝을 처음 배우던 시절, 다양한 알고리즘들이 복잡하게 느껴졌지만, 그중에서도 선형회귀와 로지스틱 회귀는 이해의 출발점이 되어주었습니다. 특히 데이터를 시각화하고 직선 하나를 그어 예측을 하는 과정은 매우 직관적이었고, 로지스틱 회귀를 통해 분류 문제도 수치적으로 접근할 수 있다는 사실은 신선하게 다가왔습니다. 모델의 복잡함보다는, 그 근간이 되는 수학적 직선과 확률 개념을 얼마나 정확히 이해하느냐가 중요하다는 것을 점차 느끼게 되었습니다. 선형회귀 – 연속적인 수치를 예측하는 가장 단순한 모델 선형회귀(Linear Regression)는 독립 변수와 종속 변수 간의 선형 관계를 기반으로, 입력값에 따라 연속적인 수치 값을 예측하는 회귀 알고리즘입니다. 예를 들어 면적에 따른 집값 예측, 공부 시간에 따른 시험 점수 예측처럼, 결과가 숫자로 나타나는 문제에서 활용됩니다. 선형회귀의 수식은 다음과 같습니다. y = w1x1 + w2x2 + ... + wnxn + b 여기서 y는 예측값, x는 입력 변수, w는 가중치(회귀계수), b는 절편을 의미합니다. 이 모델은 데이터 포인트를 가장 잘 설명하는 직선을 찾는 것이 핵심이며, 손실 함수로는 보통 평균제곱오차(Mean Squared Error, MSE)를 사용합니다. 즉, 실제 값과 예측 값의 차이를 제곱해 평균을 구하고, 이 값을 최소화하는 방향으로 가중치를 조정합니다. 선형회귀의 장점은 해석이 매우 명확하다는 점입니다. 각 변수의 계수가 결과에 어떤 영향을 미치는지 직관적으로 이해할 수 있기 때문에, 통계 분석과 실무 보고서에서도 자주 사용됩니다. 하지만 변수 간 선형성이 없거나, 이상치에 민감한 경우에는 성능이 급격히 떨어질 수 있으므로 주의가 필요합니다. 로지스틱 회귀 – 분류 문제를 위한 회귀 알고리즘 로지스틱 회귀(Logistic Regression)는 선형회귀와 유사한 구조를 가지지만, 결과값이 연속적인 수치가 아닌 범주(클래스) 라는 점에서 차이가 있습니다. 대표적으로 이...
자세한 내용 보기

지도학습 vs 비지도학습 – 머신러닝의 대표 학습 방식 비교

이미지
머신러닝 공부를 막 시작했을 때 가장 헷갈렸던 개념 중 하나는 지도학습과 비지도학습의 차이였습니다. 처음에는 단순히 정답이 있는지 없는지의 차이라고 들었지만, 실제로 다양한 문제를 접하고 적용해보니 그 차이는 훨씬 더 근본적이고 실용적인 관점에서 이해되어야 한다는 것을 깨달았습니다. 이 두 방식은 머신러닝을 배우는 입장에서 가장 기본이면서도, 실제 데이터를 어떻게 다뤄야 하는지를 결정짓는 출발점이기도 합니다. 지도학습 – 정답이 있는 데이터로부터 배우다 지도학습(Supervised Learning)은 학습 데이터에 입력(Input)과 정답(Output)이 명확히 주어진 상태에서 모델을 훈련시키는 방식입니다. 즉, 기계는 입력값에 대해 어떤 결과가 나와야 하는지를 미리 알고 있고, 이를 기준으로 오차를 줄여가며 학습합니다. 예를 들어 이메일이 스팸인지 아닌지를 분류하는 문제에서는, 이미 ‘스팸’ 혹은 ‘정상’이라는 라벨이 붙은 수천 개의 메일을 학습 데이터로 사용합니다. 이 데이터를 통해 머신러닝 모델은 특정 단어나 발신자 정보, 메일 구조 등의 특징을 학습하고, 이후 새로운 메일에 대해서도 스팸 여부를 예측할 수 있게 됩니다. 지도학습에서 가장 대표적인 문제 유형은 두 가지입니다. 하나는 ‘분류(Classification)’ 문제로, 특정 입력이 어떤 범주에 속하는지를 예측하는 것입니다. 예를 들어 암 진단 모델이 입력된 의료 데이터를 보고 양성인지 음성인지 판단하는 것이 여기에 해당합니다. 다른 하나는 ‘회귀(Regression)’ 문제로, 연속적인 수치를 예측하는 데 사용됩니다. 예를 들어 주택의 면적, 위치, 층수 등을 보고 가격을 예측하는 모델이 대표적인 회귀 문제입니다. 지도학습의 장점은 명확한 목표와 피드백을 통해 빠르게 학습할 수 있다는 점이며, 결과의 정확도 역시 비교적 높게 유지됩니다. 그러나 단점으로는 정답 데이터를 만드는 데 시간이 많이 들고, 현실에서 라벨이 없는 데이터가 훨씬 많다는 한계가 존재합니다. 비지도학습 – ...
자세한 내용 보기