텍스트 전처리 기초 (토큰화, 정제, 표제어 처리)

데이터 전처리 사진


처음 자연어 처리 프로젝트를 진행할 때, 모델의 구조나 성능 튜닝에만 집중한 나머지 데이터 전처리 과정의 중요성을 간과했던 적이 있습니다. 그 결과, 불필요한 기호나 중복된 단어, 형태가 불규칙한 표현들이 그대로 모델에 입력되면서 예측 성능이 떨어졌고, 의미를 파악하기 어려운 출력이 발생했습니다. 그때부터 전처리 과정을 하나의 ‘모델 성능 결정 요소’로 바라보게 되었고, 실제로 많은 자연어 처리 태스크에서 정교한 전처리가 결과를 좌우하는 핵심임을 실감하게 되었습니다. 본 글에서는 자연어 처리의 기초 단계 중 핵심이 되는 토큰화, 정제, 표제어 처리의 개념과 역할을 정리합니다.

토큰화(Tokenization)의 개념과 방식

토큰화는 텍스트 전처리에서 가장 먼저 수행되는 기본 과정으로, 문장을 단어 또는 하위 단위로 분리하여 기계가 이해할 수 있는 구조로 만드는 작업입니다. 일반적으로 한 문장은 여러 개의 어절 또는 단어로 구성되며, 이를 분해함으로써 이후 처리나 분석이 가능해집니다. 예를 들어 “자연어 처리는 어렵다”라는 문장은 공백을 기준으로 “자연어”, “처리”, “는”, “어렵다”와 같이 나눌 수 있습니다.

토큰화 방식에는 크게 두 가지 유형이 있습니다. 첫째는 단어 기반 토큰화로, 공백이나 문장 부호를 기준으로 단어 단위로 나누는 방식입니다. 이는 단순하고 빠르지만, 한국어와 같이 형태소 변화가 많은 언어에서는 정확도가 낮을 수 있습니다. 둘째는 서브워드 기반 토큰화로, 단어를 더 작은 단위로 나누는 방식입니다. BPE(Byte Pair Encoding), WordPiece, SentencePiece 등이 대표적이며, 희귀어 처리에 강점을 가지며 최근의 사전학습 모델에서 널리 활용됩니다.

한편 언어별 특성에 따라 토큰화의 전략은 달라져야 합니다. 영어는 공백 기준이 효과적인 반면, 한국어나 일본어는 형태소 분석기를 활용하여 의미 단위로 분리하는 것이 더 적합합니다. 대표적인 한국어 형태소 분석기에는 Mecab, Okt, Komoran 등이 있으며, 토큰화와 품사 태깅을 동시에 수행할 수 있다는 장점이 있습니다.

텍스트 정제(Cleaning)의 핵심 요소

텍스트 정제는 원시(raw) 텍스트에서 분석에 불필요한 요소를 제거하고, 일관성 있는 형태로 데이터를 가공하는 과정입니다. 이 과정은 비정형적인 데이터의 노이즈를 줄이고, 모델이 핵심 정보에 집중할 수 있도록 돕습니다. 정제 작업은 데이터의 종류, 도메인, 목적에 따라 유연하게 구성되어야 하며, 일반적으로 다음과 같은 요소들을 포함합니다.

첫째, 특수문자 및 기호 제거입니다. HTML 태그, 이모지, 괄호, 특수 기호 등은 대부분 의미 해석에 큰 영향을 미치지 않기 때문에 삭제하거나 대체하는 것이 일반적입니다. 둘째, 불필요한 공백 처리입니다. 연속된 공백, 줄 바꿈, 들여 쓰기 등은 텍스트 구조를 해치므로 제거하거나 하나의 공백으로 통일합니다. 셋째, 대소문자 통일과 숫자 처리입니다. 영어 텍스트에서는 “Apple”과 “apple”이 다르게 인식될 수 있으므로 모두 소문자로 변환하는 것이 일반적이며, 숫자는 경우에 따라 삭제하거나 특수 토큰으로 대체합니다.

넷째, 불용어(stopwords) 제거도 중요한 단계입니다. 불용어는 문장에서 자주 등장하지만 실제 의미 해석에는 큰 영향을 미치지 않는 단어들로, 예를 들어 영어에서는 “is”, “the”, “on” 등이 해당됩니다. 한국어에서는 “은”, “는”, “이”, “가”와 같은 조사류가 포함될 수 있습니다. 불용어를 제거함으로써 모델이 중요한 단어에 집중할 수 있게 됩니다.

정제 작업은 모델 성능을 높이는 데 매우 직결되는 요소입니다. 의미 없는 정보가 많이 포함된 텍스트는 학습 속도를 저하시킬 뿐 아니라 과적합이나 예측 오류의 원인이 될 수 있습니다. 따라서 다양한 정제 기법을 상황에 맞게 조합하여 적용하는 것이 중요합니다.

표제어 처리와 어간 추출

표제어 처리(Lemmatization)와 어간 추출(Stemming)은 단어를 가장 기본적인 형태로 변환하는 방법입니다. 이 두 기술은 단어의 불규칙 변화나 다양한 활용형을 통일된 형태로 만들어, 단어 간의 비교를 용이하게 하며 모델의 일반화 성능을 높이는 데 기여합니다.

표제어 처리는 단어의 의미를 유지하면서 문법적으로 정해진 사전형으로 변환하는 작업입니다. 예를 들어 영어 단어 “running”은 동사 원형인 “run”으로, “better”는 형용사 원형인 “good”으로 변환됩니다. 이 과정은 품사 태깅 결과를 기반으로 하며, 단어의 맥락에 따라 적절한 변환이 이루어집니다. 표제어 처리는 어휘적 정합성을 유지할 수 있다는 장점이 있지만, 연산량이 많고 어휘 사전에 대한 의존성이 존재합니다.

반면, 어간 추출은 접사나 활용형 등을 단순히 잘라내어 어간(root form)만을 남기는 방식으로 동작합니다. 예를 들어 “playing”, “played”, “player”는 모두 “play”로 줄어들게 됩니다. 이 방식은 속도가 빠르고 구현이 간단하지만, 의미를 왜곡할 수 있다는 단점도 존재합니다. 예를 들어 “better”가 “bett”로 잘리는 경우처럼 부자연스러운 결과가 나올 수 있습니다.

실제 응용에서는 표제어 처리와 어간 추출을 목적에 맞게 선택하거나, 둘을 조합하여 사용하는 방식도 고려됩니다. 감성 분석이나 문장 분류와 같이 단어 의미가 중요한 작업에서는 표제어 처리가 선호되며, 대규모 문서 검색이나 클러스터링과 같이 전체적인 패턴이 중요한 경우에는 어간 추출이 더 적합할 수 있습니다.

결론 – 전처리는 모델 성능의 기초

텍스트 전처리는 자연어 처리의 시작점이자, 전체 분석 흐름의 정확도를 좌우하는 결정적 요소입니다. 토큰화, 정제, 표제어 처리 같은 기초 작업이 제대로 이루어지지 않으면, 이후의 임베딩, 모델 학습, 예측 단계에서도 오류가 누적될 수 있습니다. 특히 언어별 특성과 목적에 맞는 전처리 전략을 수립하는 것이 중요하며, 이를 통해 모델의 일반화 성능과 예측 일관성을 높일 수 있습니다.

자연어 처리를 처음 설계하거나 새로운 도메인에 적용하려는 경우, 모델보다 먼저 전처리 흐름을 면밀히 설계하고 실험해 보는 것이 효율적인 접근일 수 있습니다. 본 글이 전처리의 기초를 이해하고 실무에 효과적으로 적용하는 데 도움이 되기를 바랍니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

모델 평가 지표 정리 – 정확도, 정밀도, F1 Score까지

이미지
머신러닝 모델을 처음 만들어봤을 때, 정확도가 90% 이상 나오자 속으로 꽤 잘 만들었다고 생각했습니다. 하지만 막상 실제 데이터에 적용해보니 예측 결과가 엉뚱하게 나오는 경우가 많았습니다. 그때 처음으로 ‘정확도만 보고 판단하면 안 되겠구나’라는 생각이 들었습니다. 이후 정밀도, 재현율, F1 Score 같은 지표들을 접하면서 비로소 모델 성능을 입체적으로 해석하는 것이 얼마나 중요한지 깨닫게 되었습니다. 정확도(Accuracy) – 가장 기본적인 성능 지표 정확도는 전체 예측 중에서 정답으로 맞힌 비율을 나타내는 가장 기본적인 모델 평가 지표입니다. 수식으로는 다음과 같이 표현됩니다. 정확도 = (정답으로 맞힌 건수) / (전체 건수) 예를 들어 100개의 샘플 중에서 90개를 정확히 예측했다면 정확도는 90%입니다. 간단하고 직관적인 지표이기 때문에 많은 입문자들이 가장 먼저 사용하게 됩니다. 그러나 정확도에는 한 가지 큰 함정이 있습니다. 바로 데이터가 불균형한 경우, 높은 정확도에도 불구하고 모델이 쓸모없을 수 있다는 점입니다. 예를 들어 암 환자 데이터 중 95%가 정상이고 5%만 환자일 경우, 모든 샘플을 ‘정상’이라고 예측하면 정확도는 95%가 됩니다. 하지만 이 모델은 정작 암 환자를 전혀 찾아내지 못하는 무의미한 결과를 만들어냅니다. 이처럼 클래스 불균형 문제에서는 정확도 하나만으로 모델을 평가할 수 없습니다. 정밀도(Precision)와 재현율(Recall) – 오류의 방향을 분석하다 정밀도와 재현율은 이진 분류 문제에서 오류의 종류에 따라 성능을 평가하는 데 사용됩니다. 둘은 서로 다른 관점을 제공합니다. 정밀도(Precision) 는 모델이 ‘양성’이라고 예측한 것들 중에서 실제로 양성인 비율을 의미합니다. 즉, 모델이 얼마나 신중하게 양성으로 판단했는지를 나타냅니다. 정밀도 = TP / (TP + FP) (TP: 진짜 양성, FP: 거짓 양성) 예를 들어 스팸 필터에서 스팸으로 분류된 메일 중 실제로 스팸인...
자세한 내용 보기

선형회귀와 로지스틱 회귀 – 가장 기초적인 예측 모델들

이미지
머신러닝을 처음 배우던 시절, 다양한 알고리즘들이 복잡하게 느껴졌지만, 그중에서도 선형회귀와 로지스틱 회귀는 이해의 출발점이 되어주었습니다. 특히 데이터를 시각화하고 직선 하나를 그어 예측을 하는 과정은 매우 직관적이었고, 로지스틱 회귀를 통해 분류 문제도 수치적으로 접근할 수 있다는 사실은 신선하게 다가왔습니다. 모델의 복잡함보다는, 그 근간이 되는 수학적 직선과 확률 개념을 얼마나 정확히 이해하느냐가 중요하다는 것을 점차 느끼게 되었습니다. 선형회귀 – 연속적인 수치를 예측하는 가장 단순한 모델 선형회귀(Linear Regression)는 독립 변수와 종속 변수 간의 선형 관계를 기반으로, 입력값에 따라 연속적인 수치 값을 예측하는 회귀 알고리즘입니다. 예를 들어 면적에 따른 집값 예측, 공부 시간에 따른 시험 점수 예측처럼, 결과가 숫자로 나타나는 문제에서 활용됩니다. 선형회귀의 수식은 다음과 같습니다. y = w1x1 + w2x2 + ... + wnxn + b 여기서 y는 예측값, x는 입력 변수, w는 가중치(회귀계수), b는 절편을 의미합니다. 이 모델은 데이터 포인트를 가장 잘 설명하는 직선을 찾는 것이 핵심이며, 손실 함수로는 보통 평균제곱오차(Mean Squared Error, MSE)를 사용합니다. 즉, 실제 값과 예측 값의 차이를 제곱해 평균을 구하고, 이 값을 최소화하는 방향으로 가중치를 조정합니다. 선형회귀의 장점은 해석이 매우 명확하다는 점입니다. 각 변수의 계수가 결과에 어떤 영향을 미치는지 직관적으로 이해할 수 있기 때문에, 통계 분석과 실무 보고서에서도 자주 사용됩니다. 하지만 변수 간 선형성이 없거나, 이상치에 민감한 경우에는 성능이 급격히 떨어질 수 있으므로 주의가 필요합니다. 로지스틱 회귀 – 분류 문제를 위한 회귀 알고리즘 로지스틱 회귀(Logistic Regression)는 선형회귀와 유사한 구조를 가지지만, 결과값이 연속적인 수치가 아닌 범주(클래스) 라는 점에서 차이가 있습니다. 대표적으로 이...
자세한 내용 보기

지도학습 vs 비지도학습 – 머신러닝의 대표 학습 방식 비교

이미지
머신러닝 공부를 막 시작했을 때 가장 헷갈렸던 개념 중 하나는 지도학습과 비지도학습의 차이였습니다. 처음에는 단순히 정답이 있는지 없는지의 차이라고 들었지만, 실제로 다양한 문제를 접하고 적용해보니 그 차이는 훨씬 더 근본적이고 실용적인 관점에서 이해되어야 한다는 것을 깨달았습니다. 이 두 방식은 머신러닝을 배우는 입장에서 가장 기본이면서도, 실제 데이터를 어떻게 다뤄야 하는지를 결정짓는 출발점이기도 합니다. 지도학습 – 정답이 있는 데이터로부터 배우다 지도학습(Supervised Learning)은 학습 데이터에 입력(Input)과 정답(Output)이 명확히 주어진 상태에서 모델을 훈련시키는 방식입니다. 즉, 기계는 입력값에 대해 어떤 결과가 나와야 하는지를 미리 알고 있고, 이를 기준으로 오차를 줄여가며 학습합니다. 예를 들어 이메일이 스팸인지 아닌지를 분류하는 문제에서는, 이미 ‘스팸’ 혹은 ‘정상’이라는 라벨이 붙은 수천 개의 메일을 학습 데이터로 사용합니다. 이 데이터를 통해 머신러닝 모델은 특정 단어나 발신자 정보, 메일 구조 등의 특징을 학습하고, 이후 새로운 메일에 대해서도 스팸 여부를 예측할 수 있게 됩니다. 지도학습에서 가장 대표적인 문제 유형은 두 가지입니다. 하나는 ‘분류(Classification)’ 문제로, 특정 입력이 어떤 범주에 속하는지를 예측하는 것입니다. 예를 들어 암 진단 모델이 입력된 의료 데이터를 보고 양성인지 음성인지 판단하는 것이 여기에 해당합니다. 다른 하나는 ‘회귀(Regression)’ 문제로, 연속적인 수치를 예측하는 데 사용됩니다. 예를 들어 주택의 면적, 위치, 층수 등을 보고 가격을 예측하는 모델이 대표적인 회귀 문제입니다. 지도학습의 장점은 명확한 목표와 피드백을 통해 빠르게 학습할 수 있다는 점이며, 결과의 정확도 역시 비교적 높게 유지됩니다. 그러나 단점으로는 정답 데이터를 만드는 데 시간이 많이 들고, 현실에서 라벨이 없는 데이터가 훨씬 많다는 한계가 존재합니다. 비지도학습 – ...
자세한 내용 보기