Google DeepMind представила новую языковую модель Gemini Robotics On-Device для роботов, позволяющая выполнять задачи локально без подключения к интернету. Она была разработана на основе предыдущей модели, выпущенной в марте, Gemini Robotics On-Device, которая может управлять движениями робота. Разработчики могут контролировать и настраивать новую модель, используя запросы на естественном языке.
Google утверждает, что новая разработка работает на уровне, близком к облачной версии Gemini Robotics. В демонстрации компания показала роботов, работающих под управлением этой новой локальной модели, которые расстегивали сумки и складывали одежду. Google сообщила, что изначально она обучила модель для роботов ALOHA, а позже адаптировала ее для работы на двуруком роботе Franka FR3 и гуманоидном роботе Apollo от Apptronic.
Google утверждает, что двухрычажный Franka FR3 успешно справился с задачами и объектами, которые он не видел раньше, например, со сборкой на промышленном конвейере.
Google DeepMind так же выпустила Gemini Robotics SKD. По заявлению компании, разработчики могут показать роботам от 50 до 100 демонстраций выполнения задач, чтобы обучить их новым задачам, используя эти модели на физическом симуляторе MuJoCo.
