NLP (자연어 처리) 란?

NLP (또는 자연어 처리) 는 2016년 쯤 챗봇이 성행하면서부터 많은 관심을 끌었던 키워드였다. 

 

다소 오래된 듯한 이 키워드를 다시 꺼내는 이유는, LLM (Large Language Model) 기술이 빠르게 발전하면서 NLP 에 대해 다시 처음부터 이해하고자 함이다. 

 

NLP (= 자연어처리) 는, 머신러닝 기반으로 인간의 언어를 컴퓨터가 잘 이해하도록 하고자 하는 언어학의 영역 중 하나이다. 

여기서 중요한 것은, 단어 자체의 뜻을 이해하는 것에서 그치지 않고, 단어와 문장 간의 문맥 그 행간의 의도를 이해하도록 하는 것이 핵심이다. (문맥!)

 

대표적인 NLP Task 는:

• 분류 (Classification) 
  • 전체 문장 간 분류 : 리뷰의 긍정/부정 여부, 이메일이 스팸인지, 두 무장 간의 연관성이 얼마나 높은지
  • 문장 내 단어들을 분류 : 한 문장 내에서의 문법적인 구성 요소를 구분하거나 (명사, 부사, 동사 등), 엔티티 구분 (장소, 사람, 사물 등)
• 생성 (Generation)
  • 새로운 텍스트를 생성 - 프롬프트를 사용해서 텍스트를 자동생성하거나, masking 된 단어를 가지고 빈칸의 단어 채우기
  • 입력 텍스트로부터 새로운 문장 생성하기 - 입력 텍스트를 요약하거나 번역
• 유추/추출 (Extract)
  • 텍스트로부터 답변 추출하기 - 문맥과 질문이 함께 주어졌을 때, 문맥을 기반으로 질문에 대해 응답하기 

 

NLP 가 그동안 많이 발전해왔고, 번역 등 어느 정도의 Task 는 잘 수행하는 것 같은데 왜 NLP 가 어렵다고 하는 것일까? 

자연어 처리가 어려운 이유는, 컴퓨터가 텍스트를 인식하고 처리하는 방식이 인간의 처리방식과는 다르기 때문이다. 예를 들어, 사람은 "집에 가고 싶다" 는 문장을 보면, 이 문장의 정적인 뜻을 넘어 그 문장에 담긴 "의미" 와 "의도" 를 쉽게 파악할 수 있다. 집이 너무 좋아서 집이 그립다는 것인지, 아니면 지금 이 상황이 지루해서 여길 얼른 떠나고 싶다는 의미인지 말이다. 하지만 컴퓨터는 "집에 가고 싶다" 는 문장을 단순히 컴퓨터가 이해할 수 있도록 텍스트를 벡터, 그리고 비트로 이해하기 때문에, 이 문장 넘어에 있는 의도나 행간의 의미를 인지하도록 하긴 쉽지 않다. 

 

이 부분을 더욱 향상시키기 위해 우리는 머신러닝 모델을 사용하여 컴퓨터가 인간과 같이 텍스트를 이해하고 사고하고 처리할 수 있도록, 모델을 다양한 데이터를 활용해 학습시킨다. 이런 의미에서, 더 많은 문맥을 이해시키도록 거대한 인프라를 기반으로 다량의 데이터를 학습시키는 pretrained model 의 중요성이 높아지고 있고, 텍스트를 모델의 언어로 변환할 때에도 문장의 문맥을 잘 담아서 변환할 수 있도록 하는 임베딩 기술 또한 NLP 영역에 있어 매우 중요한 요소가 되는 것이다. 

 

NLP가 얼마나 어려운가를 반추해보면, 우리 인간이 사고하는 것이 얼마나 위대한 것인가 생각해보게 된다. 

언어를 통해 우리의 생각과 의도를 적절히 표현해내고, 그 표현을 상대방이 잘 읽어내어 의사소통한다는 것, 참 위대한 일이 아닐 수 없다. 

 

앞으로 NLP 와 관련된 머신러닝의 여러 요소들을 차근차근 알아볼 예정이다.