همانطور که استفاده از LLMها در سرویسهای آنلاین فراگیر شده، چالش تأخیر کم و بازدهی بالا (Throughput) به یک دغدغه فنی جدی تبدیل شده است.
محققان بهتازگی FineServe را معرفی کردهاند؛ یک دیتاست جامع و واقعی که از سرویسهای تجاری جهانی جمعآوری شده است. این ابزار به مهندسان کمک میکند تا با درک عمیق رفتار مدلها در محیط واقعی و الگوهای پیچیده تقاضا، سیستمهای مسیریابی و مدیریت منابع (Capacity Planning) را بسیار دقیقتر طراحی کنند.
اگر در حوزه زیرساخت و سیستمهای توزیعشده هوش مصنوعی فعالیت میکنید، بررسی این دیتاسِت برای شبیهسازی دقیقترِ بار کاری میتواند بسیار راهگشا باشد.
🔗 دسترسی به FineServe در گیتهاب
منبع: arXiv AI