محققان به کشف جالبی در ساختار ترنسفورمرها (مثل Llama و Mistral) رسیدند: لایهای به نام «لایه تصمیم سخت» (Hard Decision Layer) که در آن، مدلها خیلی زودتر از پایان پردازش، تصمیم نهایی خود را درباره پاسخها میگیرند.
این کشف نشان میدهد که دقت مدلها در این لایه تثبیت میشود و حتی تغییرات بعدی (Fine-tuning) هم تأثیر چندانی روی آن ندارد. این یعنی میتوانیم در آینده مدلهای هوش مصنوعی سریعتر و بهینهتری داشته باشیم که «کمتر فکر میکنند ولی دقیقتر تصمیم میگیرند!»
اگر به مباحث فنی و معماری هوش مصنوعی علاقه دارید، این پژوهش دید عمیقی به «جعبه سیاه» مغز مدلهای زبانی میدهد.
های_زبانی
منبع: arXiv AI