حتماً برای شما هم پیش آمده که هنگام کار با مدلهای زبانی، اگر سرور دچار اختلال شود، تمام تاریخچه گفتگو را از دست میدهید! محققان به تازگی معماری جدیدی به نام «ContinuityBench» را معرفی کردهاند که این مشکل را حل میکند.
این تحقیق با معرفی معیارهای جدید، راهکاری برای «تداوم وضعیت» (Stateful Failover) ارائه داده که باعث میشود در صورت قطع شدن سرویسدهنده اصلی و جابهجایی به یک ارائهدهنده جایگزین، حافظه و محتوای چت شما کاملاً حفظ شود. این یعنی خداحافظی با فراموشی مدلهای زبانی هنگام قطعیهای ناگهانی!
این پروژه ابزاری متنباز برای تست و ارزیابی این قابلیت در شرایط بحرانی نیز منتشر کرده که برای توسعهدهندگان LLM فوقالعاده کاربردی است.
منبع: arXiv Machine Learning