Чи здатні компактні мовні моделі відповідати на питання комплаєнсу, не вигадуючи правила?

Чому малі моделі плутаються в великих книгах правил

Фінансові установи працюють з об'ємними книгами правил, що часто змінюються. Правильна відповідь вимагає не просто плавного тексту, а перевіреної прив'язки до авторитетного джерела. Великі мовні моделі виглядають привабливо. Але компанії можуть реально розгорнути на власних серверах лише компактні версії. Ці моделі галюцинують зобов'язання.

Як перероблено пошук релевантних уривків

Автори перевіряють, чи закриває цей пролем адаптований до домену конвеєр генерації з посиленням пошуку. Ретривер створено в три етапи на базі LegalBERT. Перший етап застосовує entailment-тюнінг, що переформулює співставлення питання та уривка як реконструкцію преміси та гіпотези. Другий додає контрастивний тюнінг з негативними прикладами всередині батчу. Третій об'єднує оцінки з BM25. Генератор — компактна модель від 2B до 12B параметрів, що працює під 4-бітовою квантизацією. Її або просто промптять, або донавчають через LoRA з урахуванням пошуку.

Бенчмарк підтверджує значний стрибок якості пошуку

На ObliQA — бенчмарку питань і відповідей, побудованому на книгах правил Abu Dhabi Global Market — каскадний ретривер підвищує Recall@10 з 0.256 до 0.774. Він перевершує BM25 з 0.678 та E5-large-v2 з 0.758. E5-large-v2 — найсильніший універсальний щільний енкодер серед тих, що тестували автори. Результат говорить сам за себе.

Покращення генерації не означає кращого ґрунтування

RAFT-LoRA покращує сукупну оцінку якості відповідей RePASs для кожної моделі, яку вдалося адаптувати. Найбільший приріст — на найслабшій. Але адаптовані моделі не переносять успіх на австралійські питання прецедентного права. Модель у закритому режимі, що не отримує жодного уривка, набирає майже те саме: різниц�� лише 0.011 RePASs. Вона видає відповіді без посилань і викривлює зобов'язання. Тому приріст пошуку виміряно безпосередньо. Приріст генерації — це лише вищий RePASs, а не доведене ґрунтування. Саме ґрунтування вимагає протоколу оцінки, якого RePASs не надає. Стаття зараз на рев'ю.