Google mengatakan Gemini AI membuat robotnya lebih pintar

Google melatih robotnya dengan Gemini AI agar mereka dapat lebih baik dalam navigasi dan menyelesaikan tugas. Tim robotika DeepMind menjelaskan dalam sebuah pernyataan makalah penelitian baru bagaimana cara menggunakan Gemini 1.5 Proitu panjang jendela konteks — yang menentukan seberapa banyak informasi yang dapat diproses oleh model AI — memungkinkan pengguna untuk berinteraksi dengan lebih mudah Robot RT-2 menggunakan instruksi bahasa alami.

Cara kerjanya dengan merekam tur video di area tertentu, seperti rumah atau kantor, dengan peneliti menggunakan Gemini 1.5 Pro untuk membuat robot “menonton” video tersebut guna mempelajari lingkungan sekitar. Robot kemudian dapat menjalankan perintah berdasarkan apa yang telah diamatinya menggunakan keluaran verbal dan/atau gambar — seperti memandu pengguna ke stopkontak setelah diperlihatkan telepon dan ditanya “di mana saya dapat mengisi daya ini?” DeepMind mengatakan robot bertenaga Gemini-nya memiliki tingkat keberhasilan 90 persen di lebih dari 50 instruksi pengguna yang diberikan di area operasi seluas lebih dari 9.000 kaki persegi.

Para peneliti juga menemukan “bukti awal” bahwa Gemini 1.5 Pro memungkinkan droid-droidnya merencanakan cara memenuhi instruksi selain sekadar navigasi. Misalnya, ketika pengguna dengan banyak kaleng Coca-Cola di mejanya bertanya kepada droid apakah minuman favoritnya tersedia, tim tersebut mengatakan Gemini “mengetahui bahwa robot harus menavigasi ke lemari es, memeriksa apakah ada Coca-Cola, lalu kembali ke pengguna untuk melaporkan hasilnya.” DeepMind mengatakan berencana untuk menyelidiki hasil ini lebih lanjut.

Demonstrasi video yang disediakan oleh Google sangat mengesankan, meskipun potongan-potongan yang jelas setelah droid mengakui setiap permintaan menyembunyikan bahwa dibutuhkan waktu antara 10–30 detik untuk memproses instruksi ini, menurut makalah penelitian tersebut. Mungkin perlu waktu sebelum kita berbagi rumah dengan robot pemetaan lingkungan yang lebih canggihtetapi setidaknya mereka mungkin dapat menemukan kunci atau dompet kami yang hilang.

Sumber