تا حالا به این فکر کردید که چقدر استخراج دقیق دادهها از سایتهای خبری با ساختارهای بهمریخته و تبلیغات مزاحم سخته؟ محققان بهتازگی مدل «news-crawler-LM» رو معرفی کردن که دقیقاً برای حل همین مشکل ساخته شده.
این مدل کوچک اما قدرتمند با آموزش روی دادههای باکیفیت، میتونه کدهای HTML رو خیلی تمیزتر از قبل به متنهای خوانا یا فرمتهای ساختاریافته مثل JSON تبدیل کنه. این ابزار میتونه برای کسانی که با دادهکاوی خبری سر و کار دارند، یک بازیساز جدید باشه که نیاز به تنظیمات دستیِ سختگیرانه رو کمتر میکنه. 🚀✨
منبع: arXiv NLP