Tokenizer

توکنایزر

توکنایزر؛ ابزار یا بخش نرم‌افزاری که متن را به Token تبدیل و در صورت نیاز Tokenها را دوباره به متن تبدیل می‌کند.