Google хочет, чтобы Gemini изобрел мышь заново. Я настроен скептически

Одной из ключевых особенностей грядущих устройств Googlebooks от Google обещает стать свежий подход с использованием искусственного интеллекта к одному из старейших компьютерных интерфейсов — указателю мыши.

С помощью Magic Pointer (Волшебного Указателя), разработанного лабораторией DeepMind от Google, пользователи смогут наводить указатель на объект или область на экране компьютера и просто говорить Gemini, что им нужно сделать. Это может быть что угодно: от редактирования изображения, на которое указывает пользователь, до добавления ингредиентов из рецепта в список покупок. Указатель, дополненный ИИ, будет служить своего рода ярлыком для запросов.

Magic Pointer является одной из главных функций новых устройств Googlebooks от Google, преемников Chromebooks, работающих на базе Gemini и ожидаемых этой осенью. Но пока нам придется ждать до конца года, чтобы получить в руки Googlebook, вы можете протестировать Magic Pointer уже сейчас.

Один из способов опробовать Magic Pointer — это Gemini в Chrome, где указатель позволяет легко задавать Gemini вопросы о любой части веб-страницы. Автор не смог заставить Magic Pointer работать в Chrome (возможно, потому что он использует Chrome на Mac), но ему удалось запустить его в Google AI Studio, где представлены две короткие демонстрации Magic Pointer.

В первой демонстрации вы можете использовать Magic Pointer для редактирования изображения — в данном случае, мультяшной иллюстрации пляжа, на котором изображены пальма, краб, пингвин-серфер, снеговик и деревянный знак.

Автор использовал Magic Pointer для выполнения простых задач по редактированию изображений, например, попросил Gemini изменить надпись на знаке.

Демонстрация проводит вас через ряд задач, включая перемещение краба из одной части изображения в другую. Вы просто наводите Magic Pointer на краба, затем перемещаете указатель туда, куда хотите поместить краба, и говорите: «перемести краба сюда».

Точки на экране, на которые вы навели указатель, должны начать светиться желтым, пока Gemini обрабатывает ваш запрос. Когда автор попробовал это, Gemini обдумывал запрос «перемести краба сюда» несколько секунд, прежде чем наконец переместить краба в указанное место. Грубовато, да, но задача была выполнена.

Затем автор навел указатель на шапку снеговика и сказал: «сделай из этого соломенную шляпу», и вуаля, появилась соломенная шляпа. Он также использовал Magic Pointer, чтобы превратить пингвина в черепаху («сделай из этого черепаху») и изменил надпись на знаке («сделай так, чтобы здесь было написано Пляж Бена», хотя Gemini воспринял это как «Пляж Бенца»).

Во второй демонстрации Magic Pointer используется для поиска мест на Google Картах. Для этого автор навел мышь на изображение лондонского Гайд-парка и спросил: «что это за место?». Через несколько мгновений Gemini точно определил Гайд-парк на Google Картах.

Гораздо более сложной задачей оказалось использование Magic Pointer для запроса у Gemini маршрута из одной точки в другую. В демонстрации нужно было обвести фотографию одного места, затем обвести другое изображение и сказать: «как мне добраться отсюда туда?»

Заставить Gemini построить маршрут из точки А в точку Б с помощью Magic Pointer оказалось непросто.

Однако в первые несколько попыток Gemini постоянно настаивал, что автор обводит одну и ту же фотографию, хотя он был уверен в обратном. К тому моменту, когда демонстрация все же заработала, автору показалось, что набрать полный запрос в Gemini было бы проще.

Конечно, ранний Magic Pointer, опробованный автором, был крайне ограничен, и Google обещает гораздо более мощный функционал после запуска своих новых Googlebooks. Например, можно будет указывать на разделы Google Документа и просить Gemini их переписать, или указывать на изображение ресторана и просить Gemini забронировать столик.

Интересно, но сможет ли Magic Pointer действительно изобрести мышь заново? Пока автор настроен скептически.