AI는 글자를 읽는 것이 아니라 토큰(Token)이라는 작은 단위로 문장을 나누어 처리합니다.이번 글에서는 토큰의 개념과 영어·한국어의 토큰 차이까지 쉽게 설명합니다. 이삿짐을 싸다 보면 이상한 일이 생깁니다.처음에는 물건이 별로 없어 보입니다. 책 몇 권, 컵 몇 개, 작은 전자제품 하나 정도입니다.그런데 막상 포장을 시작하면 박스가 계속 필요합니다. 컵은 깨지지 않게 따로 감싸야하고, 접시는 하나씩 종이로 싸야 합니다. 노트북은 완충재를 넣고 전용 박스에 넣어야 합니다.물건의 개수보다 중요한 것은 따로 있습니다.그 물건을 몇 개의 상자로 나누어 담아야 하느냐입니다. AI가 글을 읽는 방식도 이와 비슷합니다.우리가 쓴 문장은 AI에게 그대로 들어가지 않습니다. 먼저 작은 말 조각으로 나뉩니다.이 작..
