Distillation / Knowledge Distillation

تقطیر دانش

تقطیر دانش؛ روشی برای آموزش یک مدل کوچک‌تر با استفاده از دانش یا خروجی‌های یک مدل بزرگ‌تر تا با هزینه کمتر عملکرد مناسبی داشته باشد.