Чому AstaBrief створює звіти з посиланнями менше за хвилину?

Модель, створена для реальних запитів вчених

Дослідники не вводять короткі ключові слова. Вони приносять значний контекст і ставлять обмеження. Зв'язки між поняттями також важливі. Команда проаналізувала сотні тисяч реальних запитів і виявила: експерти часто вказують конкретні методи. Багато хто повертається до згенерованих звітів пізніше, сприймаючи їх як робочі артефакти, а не разові відповіді. AstaBrief навчали на 90 тис. відфільтрованих дослідницьких запитах з журналів Asta. До навчання вилучили трафік бета-тестерів, ботів, надкороткі запити, неанглійські промпти, не наукові запити та ті, що містять особисті дані.

Навчальні дані, що демонструють ґрунтування

Донавчання починали з Qwen3-8B. 47 тис. придатних прикладів SFT отримали запуском багатокрокового конвеєра ScholarQA на відфільтрованих запитах. Конвеєр знаходив релевантну літературу, структурував матеріал по розділах і використовував підтримувальну модель для синтезу звіту з цитуванням. Підтримувальні моделі — суміш пропрієтарних систем: Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini та GPT-4.1.

Для прямої оптимізації за перевагами потрібні пари звітів, де один явно кращий. Команда зібрала ~6 тис. таких пар з окремого підмножини запитів. Один звіт на запит приходив з існуючого конвеєра ScholarQA, зазвичай на базі Claude 3.5 Sonnet або 3.7 Sonnet. Конкурент — від o3, o4-mini, DeepSeek-V3 або DeepSeek-R1. Дві суддівські моделі — GPT-4.1 і DeepSeek-R1 — порівнювали кожну пару і вибирали переможця. Судді згодилися з людськими перевагами у 95 % випадків. Залишили лише пари, де обидві суддівські моделі зійшлися.

Один фільтр, що змінив усе

Тестували чотири статистичні фільтри для виявлення слабких синтетичних прикладів. Співвідношення токенів виходу до входу позначало відповіді, що генерують занадто багато тексту за малого доказового базису. Середня релевантність цитувань усереднювала оцінки релевантності отриманих статей. Щільність цитувань вимірювала частку тверджень, що мають хоча б одне посилання. Різноманітність цитувань — частку процитованих статей із набору, що видав пошук.

Найсильніший приріст дав відсіювання синтетичних звітів із низькою щільністю цитувань. Більш агресивне фільтрування не додало суттєвого приросту. Комбінації фільтрів теж не допомогли. Перебір learning rate залишився без ефекту. Урок простий: простий сигнал — чи цитують синтетичні звіти свої твердження постійно — корисніший за кілька складніших комбінацій. Наукова спеціалізація не обов'язково означає додавання більшого обсягу наукового тексту на етапі претренування. Склад і якість післятренувальних даних, а також те, чи демонструють вони поведінку на кшталт ґрунтування та атрибуції, можуть суттєво змінити поведінку результативної моделі.

Швидкість, що змінює робочий процес

Швидкий режим усереднює 51,1 секунди на звіт у повному конвеєрі Asta. Режим роздумів — 178,5 секунди. Це у ~3,5 рази швидше.

Прискорення йде від перепроектування конвеєра: AstaBrief пише повний звіт за один прохід за запитом користувача та релевантними уривками. Він обходить дорогі етапи підсумовування уривків та кластеризації, що використовує Claude-базовий режим роздумів. Також не пише відповідь розділ за розділом. Команда виявила: це можливо без втрати якості.

Серед 374 користувачів Asta, що спробували швидкий режим, 29,1 % користувалися ним два дні й більше. У середньому генерували 3,67 ниток звітів. 23 % тих, хто спробував швидкий режим, продовжили користуватися ним і ніколи не повернулися до режиму роздумів для майбутніх ниток. Ще 18 % перемикалися між режимами залежно від цілей, використовуючи швидкий режим приблизно у 40 % ниток. Швидкий режим отримує позитивний фідбек у 84,2 % проти 85,2 % у режимі роздумів.

Оцінки, що розділяють релевантність та зайву самовпевненість

Головна ціль оцінки — SQABench-CS2, набір із 200 користувацьких запитань з комп'ютерних наук. Відстежували чотири метрики під час розробки: оцінка за рубрикою, точність відповіді, точність цитувань, повнота цитувань.

Звіт може звучати шліфовано і повно, але відхилятися від запиту або прив'язувати цитування до тверджень, які базове доказа не підтримує. Для наукового синтезу ці поведінки треба вимірювати окремо. Але підтримка цитуваннями — лише частина наукової достовірності. Модель посилається на правильне дослідження і одночасно робить сильніше твердження, ніж дозволяє саме дослідження. Це трапляється тонко: перетворення висновку про конкретну вибірку на узагальнене твердження про всю популяцію. Зміна результату, поданого в минулому часі, на теперішній, що звучить універсальніше. Перетворення описового висновку на рекомендацію для лікарів, політик чи дослідників. Такі узагальнення критично важливі для генерації наукових звітів, бо кожен крок розширює видимий обсяг доказової бази без введення очевидно хибного твердження. Метрики розробки фокусувалися переважно на релевантності та охопленні. Ґрунтування цитуваннями вимірювали окремо. Більш повна оцінка генераторів наукових звітів має також перевіряти, чи зберігають вони обсяг та силу тверджень у джерелах.

Людські переваги та межі поточних бенчмарків

У окремому людському дослідженні на 14 запитаннях три наукові дослідники кожен внесли по чотири-п'ять запитань і ранжували звіти трьох систем за загальною перевагою, повнотою, релевантністю, організацією та точністю цитувань. За загальною перевагою виграв DR-Tulu. Два з трьох дослідників віддають перевагу AstaBrief над іншими системами за метриками точності цитувань.

Порівняння за LLM-суддею на SQABench-CS2 показує: AstaBrief конкурує з Claude-конвеєром і DR Tulu за кількома мірами якості відповідей і цитувань. Ці числа краще читати як валідацію інженерного підходу на момент розробки, а не як твердження про те, де ця конкретна базова модель стоїть відносно сучасного фронтиру. Екосистема моделей рухається швидко. Уроки побудови даних — те, що команда очікує узагальнити. Атрибуційне фільтрування та розгортання також входять до цього набору.

Відкриті ваги для локального розгортання

Оскільки ваги відкриті, інституції можуть розгорнути модель на власному залізі, у тому числі за власним мережевим екраном, не покладаючись на пропрієтарний API для генерації звітів. У Asta це також означає, що команда може вивчати й покращувати цю частину конвеєра безпосередньо, зберігаючи режим роздумів як опцію для обчислювально важких задач.

Модель доступна як allenai/AstaBrief_8B на Hugging Face. Також випущено приклад робочого процесу, який дослідники можуть адаптувати для створення звітів з власних PDF — стартова точка для локальної генерації. Команда досліджує більш дрібне пріоритетне навчання, сильніші RAG-plus-RL підходи, багатокрокові та багатоінструментальні здібності, додаткові наукові джерела даних і декомпозицію запитів. Їх також цікавлять оцінки, що виходять за межі перевірки наявності підтримувального цитування, і запитують, чи зберігає модель доказовий обсяг своїх джерел. До цього належать такі якості, як лаконічність та організація. А також те, чи перетворює модель висновки для конкретної вибірки на широкі узагальнення чи описові результати — на рекомендації. Більшість описаного нав