Google анонсировала Project Astra — новый мультимодальный ИИ-проект, который обеспечит низкую задержку и разнообразные возможности в поиске, приложении Gemini и продуктах сторонних разработчиков.
Новые функции поиска с Project Astra
Особое внимание стоит уделить функции Search Live в Google Search. С помощью режима ИИ, который активирует AI-поддерживаемый поиск, пользователи могут задавать вопросы о том, что они видят через камеру своего смартфона. При нажатии кнопки «Live» Project Astra обрабатывает потоковое видео и аудио, предоставляя ответы с минимальной задержкой.
Разработка и партнерство
Project Astra был впервые представлен на Google I/O в рамках демонстрации смарт-очков. Этот проект стал результатом работы Google DeepMind и нацелен на демонстрацию почти мгновенных мультимодальных возможностей ИИ. Google активно сотрудничает с такими компаниями, как Samsung и Warby Parker для создания этих смарт-очков, однако конкретная дата выхода пока не установлена.
Новые возможности для разработчиков
Project Astra также активирует новую функцию в Live API, который позволяет разработчикам создавать приложения с низкой задержкой для голосовых взаимодействий с Gemini. С этого момента разработчики могут внедрять аудио и визуальные входные данные, а также нативный аудиовывод. Обновленный Live API включает улучшенное распознавание эмоций, что позволяет ИИ более адекватно реагировать на запросы пользователей, а также использует возможности мышления моделей ИИ Gemini.
Обновления в приложении Gemini
В приложении Gemini Project Astra обеспечит доступ ко всем пользователям к функциям видеопотока и совместного использования экрана. Ранее такие функции использовались только платными подписчиками, однако теперь они будут доступны для всех пользователей, что делает взаимодействие более интерактивным.
Будущее Project Astra
Google выражает уверенность в том, что Project Astra станет основой для многих ее продуктов, включая новую категорию — смарт-очки. Хотя это может быть правдой, точная дата выхода смарт-очков все еще не определена. Google поделилась несколькими подробностями о дизайне новых очков, но до их реального появления еще предстоит пройти длительный путь.