مدل‌های زبانی بزرگ
Tokenتوکن
توکن؛ واحد متن (کلمه یا بخش از کلمه) که مدل زبانی آن را پردازش می‌کند. تعداد Tokenها روی هزینه و محدودیت پردازش بسیاری از مدل‌های زبانی اثر می‌گذارد و الزاما با تعداد کلمات یکسان نیست.
مشاهدهٔ جزئیاتدانشنامهٔ Noventix
واژه‌نامهٔ هوش مصنوعی
مفاهیم و اصطلاحات هوش مصنوعی را عمیق‌تر بشناس.
۳۴۵ اصطلاح آموزشی۲۵ حوزهٔ موضوعیرایگان برای همه
مرور سریع
از الفبا شروع کن
دسته‌بندی‌ها
۳ اصطلاحموضوع موردنظرت را انتخاب کن
نتایج فیلترشده · حرف Tحذف فیلترها
مدل‌های زبانی بزرگ
Tokenizationتوکن‌سازی
توکن‌سازی؛ فرآیند تقسیم متن به واحدهایی به نام Token که مدل زبانی آن‌ها را پردازش می‌کند.
مشاهدهٔ جزئیاتمدلهای زبانی بزرگ
Tokenizerتوکنایزر
توکنایزر؛ ابزار یا بخش نرم‌افزاری که متن را به Token تبدیل و در صورت نیاز Tokenها را دوباره به متن تبدیل می‌کند.
مشاهدهٔ جزئیات