Що насправді робить Guided Vision у Gemini Live для людини, яка не бачить екрана?

Google додав до Gemini Live на Android візуального помічника на основі камери. Він описує, що бачить об'єктив, і підказує, як рухати телефон, щоб краще оглянути сцену.

Як камера стає співрозмовником

Ви відкриваєте Gemini Live, надаєте доступ до задньої камери, і модель починає говорити. Якщо об'єктив занадто високо або занадто близько, голос просить повільно повернути телефон праворуч. Якщо знято з боку — просить нахилити його вниз. Або відійти, поки картинка не стає чіткою. Цей цикл перекадрування працює в реальному часі і відчувається так, ніби поруч стоїть людина. Функцію називають Guided Vision, і вона з'явилася 1 жовтня 2026 року для Android 9 і новіших пристроїв там, де доступний Gemini Live.

Повсякденні задачі — у центрі уваги

Читання дрібного друку на етикетці харчової цінності — працює. Розшифрування регулятора пральної машини — теж. Сканування темного меню в ресторані йде тим самим шляхом: наведіть, послухайте, задайте уточнююче питання. Пошук випавшого навушника на підлозі використовує той самий сценарій. Знаходження чорного перцю в завантаженій полиці зі спеціями — те саме. Опис кольорів і візерунків дозволяє перевірити, чи підходить смугаста сорочка до штанів. Форми також допоможуть визначити колір конкретного жакету. Огляд незнайомої кімнати дає голосовий огляд ще до першого кроку. Стіл, завалений речами, описується так само.

Навчальні дані — десятки тисяч годин інтерпретації

Google співпрацював з Aira для збору навчальних даних. Спеціалісти Aira візуально інтерпретували сцени десятки тисяч годин. Понад 1000 учасників мережі Trusted Testers Aira перевірили модель у щоденних рутинах. Спеціалісти Aira також працювали безпосередньо з командами Google як експерти з питань безпеки.

Система враховує відгули спільнот незрячих і слабкозорих людей з Індії, Бразилії, Сінгапуру, Індонезії, Японії та інших країн

Розмови відбуваються кількома мовами. Ті самі підказки щодо перекадрування та описи адаптуються до мови користувача. Як і багато інструментів доступності, Guided Vision допомагає літнім людям. Допомагає людям з низьким рівнем грамотності. Допомагає кожному, хто намагається прочитати дрібний текст у поганому світлі.

Існує три точки входу

У додатку Gemini відкрийте налаштування профілю і увімкніть Use Guided Vision in Live. Потім запустіть сесію Live і натисніть, щоб поділитися камерою. У Налаштуваннях Android > Special abilities > Vision assistance > Guided Vision можна прив'язати плаваючу кнопку. Можна прив'язати жест двома пальцями. Або одночасне натискання обох клавіш гучності. Користувачі TalkBack викликають меню TalkBack трьома дотиками і вибирають Guided Vision безпосередньо.

Оголошення проводить чітку межу

Guided Vision — допоміжна утиліта, яка може помилковувати. Це не медичний пристрій. Не засіб мобільності і не заміна білій тростинці. Не призначене для навігації чи безпечного пересування. Також воно не виявляє перешкоди. Користувачі мають продовжувати покладатися на перевірені засоби мобільності та безпечні практики пересування у фізичному середовищі.