یکی از بزرگترین دغدغههای استفاده از مدلهای زبانی در حوزه حقوق، «اعتبار منابع» است. اینکه مدل فقط به یک قانون اشاره کند کافی نیست؛ بلکه باید آن را درست تفسیر کرده و محدودیتهای قانونی را هم در نظر بگیرد.
محققان بهتازگی بنچمارک جدیدی به نام LegalCiteTrust را معرفی کردهاند که به طور تخصصی برای ارزیابی «قابلاعتماد بودن استنادات» در گزارشهای طولانی حقوقی (به زبان چینی) طراحی شده است. این ابزار بررسی میکند که مدلها تا چه حد در انتخاب، توصیف و اعمالِ دقیقِ قوانین، صادق و دقیق عمل میکنند.
نتایج این تحقیق نشان میدهد که سیستمهای فعلی برای رسیدن به دقت حقوقی، فقط به بازیابی اطلاعات نیاز ندارند، بلکه باید روی «نحوه استفاده از شواهد» پس از بازیابی، نظارتِ هوشمندانه داشته باشند. گامی مهم برای ایمنتر کردن دستیارهای هوشمند حقوقی! 🤖🏛️
منبع: arXiv NLP