스마트 학습법

데이터베이스(Database)란 무엇일까? 책이 백만 권 있는 도서관에서 원하는 책 한 권을 찾으려면 얼마나 걸릴까요?책이 아무렇게나 쌓여 있다면 하루 종일 찾아도 발견하지 못할 수 있습니다.하지만 실제 도서관에서는 몇 분이면 충분합니다.검색대에서 책 제목을 입력하거나 사서에게 물어보면 책이 있는 위치를 바로 알 수 있기 때문입니다.책이 적어서 가능한 일이 아닙니다.수많은 책을 찾기 쉽게 정리해 두었기 때문입니다.컴퓨터도 이와 비슷한 문제를 가지고 있습니다.온라인 쇼핑몰에는 수많은 상품 정보가 있고, 은행에는 셀 수 없이 많은 거래 기록이 있습니다. 병원에는 환자의 진료 기록이 계속 쌓이고, 동영상 서비스에는 영상과 댓글, 시청 기록이 저장됩니다.이처럼 많은 정보를 체계적으로 보관하고, 필요할 때 빠르게..

AI는 글자를 읽는 것이 아니라 토큰(Token)이라는 작은 단위로 문장을 나누어 처리합니다.이번 글에서는 토큰의 개념과 영어·한국어의 토큰 차이까지 쉽게 설명합니다. 이삿짐을 싸다 보면 이상한 일이 생깁니다.처음에는 물건이 별로 없어 보입니다. 책 몇 권, 컵 몇 개, 작은 전자제품 하나 정도입니다.그런데 막상 포장을 시작하면 박스가 계속 필요합니다. 컵은 깨지지 않게 따로 감싸야하고, 접시는 하나씩 종이로 싸야 합니다. 노트북은 완충재를 넣고 전용 박스에 넣어야 합니다.물건의 개수보다 중요한 것은 따로 있습니다.그 물건을 몇 개의 상자로 나누어 담아야 하느냐입니다. AI가 글을 읽는 방식도 이와 비슷합니다.우리가 쓴 문장은 AI에게 그대로 들어가지 않습니다. 먼저 작은 말 조각으로 나뉩니다.이 작..