바이트 쌍 인코딩(BPE) 내부: LLM이 문자를 서브워드 토큰으로 분할하는 방법
OpenAI의 GPT-5 및 GPT-4.1 시리즈, Anthropic의 Claude 4.6, Google의 Gemini 3.1 및 2.5, xAI의 Grok 4, Meta의 Llama 4, DeepSeek V3/R1을 포함한 최신 트랜스포머 아키텍처는 바이트 쌍 인코딩(BPE) 및 센텐스피스와 같은 결정론적 서브워드 토큰화 알고리즘을 통해 텍스트를 처리합니다. 모든 언어의 모든 단어에 대한 무한한 사전을 유지하는 대신 BPE는 개별 UTF-8 바이트로 시작하여 가장 자주 인접한 문자 쌍을 서브워드 토큰으로 반복적으로 병합합니��.
결과적으로 앞에 공백이 있는 일반적인 영어 단어인 ` intelligence`는 단일 정수 토큰 ID로 인코딩되는 반면, 익숙하지 않은 복합어, 1진수 해시 또는 들여쓰기가 많은 Python 블록은 수십 개의 개별 토큰으로 파편화됩니다. Multinook의 시각적 토크나이저는 브라우저 RAM 내부에서 실시간으로 이러한 서브워드 경계를 재구성합니다.

