🔍 چرا خروجی‌های یک مدل هوش مصنوعی در موتورهای مختلف متفاوت است؟

آیا می‌دانستید دو موتور اجرایی مختلف (مثل vLLM و SGLang) حتی وقتی وزن‌های یکسانی دارند، می‌توانند نتایج متفاوتی تولید کنند؟ محققان در پژوهش جدیدی به سراغ اندازه‌گیری «فاصله تغییرات کلی» (TV Distance) در مدل‌های زبانی خودبازگشت (Autoregressive) رفته‌اند.

این تحقیق با معرفی روش‌های محاسباتی کارآمد، به ما کمک می‌کند بفهمیم تفاوت‌های پیاده‌سازی (مثل تکنیک‌های کوانتیزاسیون یا دسته‌بندی داده‌ها) چطور توزیع خروجی مدل را تغییر می‌دهند. این یعنی قدمی بزرگ برای استانداردسازی عملکرد مدل‌ها در محیط‌های عملیاتی!

اگر به جزئیات فنی و بهینه‌سازی مدل‌ها علاقه دارید، این مقاله را از دست ندهید:
🔗 https://github.com/XunZhiyang/llm-tv-estimation

منبع: arXiv Machine Learning