В Google совершили прорыв в управлении ИИ и роботами

В Google DeepMind впервые в мире смогли чат-ботом управлять одновременно 20 роботами и 52 устройствами, передает Tengrinews.kz со ссылкой на Google DeepMind.

Исследователи DeepMind Robotics компании Google являются одной из нескольких команд, работающих над генеративным искусственным интеллектом (ИИ) в области робототехники. В своем блоге команда рассказала о текущих исследованиях, направленных на то, чтобы роботы лучше понимали, чего именно от них требуют люди.

Традиционно роботы были ориентированы на выполнение одной задачи. Они, как правило, очень хорошо справляются с одной задачей, но даже они сталкиваются с трудностями, когда в процесс вносятся изменения. Однако в DeepMind представили три новых продукта, которые помогут роботам быстрее принимать решения, а также действовать эффективнее и безопаснее, выполняя задачи в окружении людей.



Первое из них - система сбора данных AutoRT работает на основе визуальной языковой модели (VLM) и большой языковой модели (LLM) — они помогают роботам оценивать окружающую среду, адаптироваться к незнакомой обстановке и принимать решение о выполнении поставленных задач. VLM применяется для анализа окружающей среды и распознавания объектов в пределах видимости, а LLM отвечает за творческое выполнение задач.



Важнейшим нововведением AutoRT стало появление в блоке LLM "Конституции роботов", направленных на безопасность команд, предписывающих машине избегать выбора задач, в которых участвуют люди, животные, острые предметы и даже электроприборы.

Кроме того, AutoRT способна управлять одновременно 20 роботами и 52 различными устройствами. В общей сложности DeepMind прошла около 77 тысяч испытаний, включающих более 6 тысяч задач.

Второй новинкой стала система SARA-RT (Self-Adaptive Robust Attention for Robotics Transformers), направленная на оптимизацию работы модели RT-2. Исследователи установили, что при удвоении входящих данных, например, повышении разрешения на камерах, потребность робота в вычислительных ресурсах возрастает вчетверо. Эту проблему удалось решить за счет нового метода тонкой настройки ИИ, получившего название up-training - этот метод обращает квадратичный рост потребности в вычислительных ресурсах почти в линейный. За этот счет модель работает быстрее, сохраняя прежнее качество.



Еще одной новинкой является RT-Trajectory, которая использует видеоинформацию для обучения роботов.



Многие разработчики изучают возможность использования видеороликов на YouTube для обучения роботов, но RT-Trajectory накладывает на каждое видео из обучающего набора данных 2D-эскиз траектории движения робота при выполнении задания. Эти траектории в виде RGB-изображений обеспечивают практические визуальные подсказки для модели в процессе обучения управления роботом.