Чи зможе ШІ нарешті прочитати хаотичні аукціонні каталоги XIX століття?

Аукціонні каталоги XIX і початку XX століття зберігаються в архівах усього Європи. Вони фіксують, хто, що, коли і за скільки продавав — інформація, необхідна дослідникам провенансу для відстеження долі творів. Проблема: кожен каталог оформлює лоти по-своєму. На одній сторінці — нумеровані абзаци. На іншій — текст із зображеннями у нерегулярних колонках. У третьому — скорочені імена художників, які змінюються з аукціону на аукціон. Досі масштабний аналіз означав залучення спеціалістів, які читають кожну сторінку і вводять дані вручну.

Роботу подано в arXiv 31 серпня 2026 року. Вона описує систему, що автоматизує це видобування. Автори — Матіас Ціннен, Аліша Мунд, Забіне Ланг, Лукас Хюттнер, Томас Горґес і Вінсент Крістлайн — назвали її Lot Machine. Система спрямована на German Sales, базу історичних аукціонних каталогів XIX–XX століть. Доповідь прийнято на семінар VISART у рамках ECCV 2026.

Як працює конвеєр

Lot Machine розглядає кожну сторінку каталогу як візуальну і текстову задачу одночасно. Модель «бачення-мова» (VLM) отримує зображення сторінки і запит на структуровані метадані: номер лоту, художника, назву, техніку, розміри, примітки щодо провенансу, оцінку, ціну молота. Модель видає JSON. Здається простим. На практиці варіативність форматування ламає наївне запитування.

Команда створила вручну розмічену тестову вибірку репрезентативних сторінок. Потім оцінила кілька стратегій запитів і фреймворків обмеженого декодування. Обмежене декодування змушує модель генерувати коректний JSON, обмежуючи словник токенів на кожному кроці. Без нього моделі часто створюють майже валідний JSON із пропущеними дужками або лишніми комами — непридатний для подальшого завантаження.

Режими розгортання відображають реальні обмеження

Установам культурної спадщини заважають три фактори: бюджет, обчислювальні потужності, приватність даних. Дослідження тестує три режими, що відповідають цим обмеженням.

Комерційні ендпоінти — на кшталт GPT-4o або Claude через API — задають верхню планку якості. Вони дають найвищу точність видобування, але відправляють зображення сторінок на зовнішні сервери. Для багатьох установ це порушує політики приватності або договори з донорами.

Інституційні шлюзи — спільні GPU-кластери університетських консорціумів або національних бібліотек — пропонують посередній варіант. Моделі на кшталт Llama-3.1-70B або Qwen2-VL-72B працюють за корпоративними фаєрволами. Точність незначно впадає, але залишається прийнятною. Дані ніколи не виходять за межі мережі.

Локальні розгортання запускають квантовані моделі на одній робочій станції. Модель у 7–8 мільярдів параметрів поміщається в обмежений VRAM. Дослідження каже: це можливо лише з примусовим обмеженим декодуванням. Без нього менші моделі досить часто псують JSON, ламаючи автоматизовані конвеєри. З ним — видають валідний вивід за дрібку вартості.

Що показують цифри

Результати охоплюють 5 таблиць і 6 фігур. Комерційні ендпоінти досягають найвищих F1-оцінок при видобуванні полів на рівні лотів. Інституційні шлюзи відстають незначно. Локальні квантовані моделі з обмеженим декодуванням закривають більшу частину розриву. Без обмеженого декодування локальні моделі створюють некоректний JSON у значній частці випадків — точний відсоток у таблиці 3 роботи.

Корекція з участю людини залишається необхідною. Конвеєр не претендує на повну автономію. Він зменшує ручну роботу від «переписати все» до «перевірити і виправити вивід моделі». Скільки часу це економить — залежить від стану каталогу і вибору моделі. Автори не наводять єдину цифру заощаджених годин; вона змінюється залежно від режиму розгортання і колекції.

Що це змінює для дослідників

Якщо ви працюєте з German Sales сьогодні, ви шукаєте за ключовим словом або переглядаєте зображення сторінок. Не можна запитати структуровані поля по всьому корпусу — такого шару не існує. Lot Machine створює його.

Автори публікують код і бенчмарк-дані. Також публікуються шаблони запитів. Інша команда зможе адаптувати конвеєр до іншого корпусу каталогів — французьких продажів, британських, інвентарних книг дилерів — розмітив кілька сотень сторінок і перетренувавши або перезапитуючи модель. Додаткові матеріали роботи містять інструкції з розмітки.

Де закінчується пояснення

Робота не повідомляє, скільки каталогів у German Sales ще не оброблено. Не оцінює загальні витрати обчислень на запуск конвеєра по всьому корпусу. Не порівнює з класичним OCR плюс аналіз макета, лише з VLM-базовими лініями. Не стверджує, що конвеєр однаково добре спрацює на каталогах поза конвенціями German Sales — хоча автори припускають переносність підходу за наявності нових розміток.

Наразі висновок конкретний: VLM-конвеєр перетворює хаотичні історичні сторінки каталогів на запитувані дані, якщо вибрати режим розгортання, що відповідає вашому бюджету приватності, і примусити генерацію JSON-структури. Все інше — інженерна справа.