Чи здатна мала локальна модель вирішити, коли думати глибше, а коли просити допомоги?
Новий метод HARISSA дозволяє мовній моделі на локальному залізі оцінювати власні відповіді до та після генерації. Підхід зберігає запити приватними та скорочує затримку рассудження більш ніж удвічі порівняно з chain-of-thought.
Переваги та обмеження локального запуску
Запуск мовної моделі на
Джерела, за якими написано статтю
- "arXiv:2609.38006v1
https://arxiv.org/abs/2609.38006v1"