Як компактна мовна модель навчилася описувати функції білків без фіксованої онтології?

Білків у публічних базах даних стає більше, ніж вдається перевірити вручну. Класичні обчислювальні методи трактують анотацію як задачу багатоміткової класифікації над фіксованою онтологією, що обмежує передбачення набором відомих міток.

Роботу переформулювали: анотація стає генерацією тексту з послідовності — sequence-to-text. Модель отримує амінокислотний рядок і видає природномовний опис функції.

Основа — Ministral 3 з 3 мільярдами параметрів. Донавчання відбувається за QLoRA: 4-бітне квантування NF4 плюс адаптери низького рангу. Такий підхід оновлює лише малу частину ваг, тримаючи модель компактною.

Чому генерація тексту замість класифікації

Фіксована онтологія не здатна описати нову функцію, якої ще немає в словнику. Генеративний формат цього обмеження не має.

Модель вчиться формулювати описи так, як це робить куратор. Вона поєднує відомі терміни у нові комбінації, вказує на невизначеність, згадує контекст організму — наближаючи вивід до запису біолога у лабораторному журналі.

Навчання йшло на парах «послідовність — анотація». Деталі вибірки даних у повідомленні не розкриті; автори називають якість даних одним з напрямків подальшої роботи.

Як оцінювали якість

Протокол LLM-as-expert: модель GPT виступала старшим куратором з молекулярної біології. Вона оцінювала два показники — ідентифікацію організму як бінарне рішення та якість функціональної анотації. Це замінює масове ручне рецензування. Яку саме версію GPT використовували і скільки прикладів перевірено — у тексті не сказано. Результати демонструють: компактна модель після QLoRA видає анотації з справжньою біологічною цінністю для значної частини білків.

Де межа надійності

Підхід ще не готовий до практичного використання без додаткових кроків. Потрібні покращення в трьох напрямках: якість тренувальних даних, масштабування моделі, заґрунтування доказів — evidence grounding. Останнє означає, що модель має посилатися на конкретні фрагменти послідовності або відомі домени, а не просто генерувати правдоподібний текст. Без цього куратор не може перевірити, звідки взявся висновок.

3 мільярди параметрів — на порядки менше за передових LLM, але достатньо для демонстрації принципу. Чи покращить масштабування результат — у повідомленні не сказано.

Що це дає лабораторії зараз

Вже сьогодні можна взяти відкриту вагу Ministral 3, застосувати QLoRA на власних даних і отримати інструмент, який пропонує текстові гіпотези про функцію невідомого білка. Це не замінює експерта. Це скорочує час від послідовності до робочої гіпотези.

Код і дані доступні через посилання в архіві. Ліцензія дозволяє вільне використання. Наступний крок — перевірити, чи працює це на білках, які цікаві саме вашій команді.