Setelah Pertandingan Robot Usai, Zibianliang Membangun 'Lapangan Latihan Virtual' untuk Robot

Sudah seminggu berita tentang robot membanjiri layar saya.

Robot memecahkan rekor lari 100 meter manusia, 'terbang dari tempat' hingga hampir tiga meter, gaya lari 'malu-malu' yang viral hingga ke luar negeri, Zhang Sanfeng versi siber melakukan tendangan luar 540° di udara....

Pertandingan Robot Humanoid Dunia tahun ini lebih meriah. Sebanyak 666 tim dari 16 negara di enam benua membawa 2.056 robot ke Beijing. Pertandingan tidak hanya terbatas pada atletik dan bela diri, tetapi juga diperluas ke skenario dunia nyata seperti rumah tangga, hotel, industri, dan penyelamatan darurat. Namun, ketika robot melakukan kesalahan di arena pertandingan, orang hanya tertawa dan melupakannya. Sebaliknya, jika robot benar-benar masuk ke rumah tangga dan menjatuhkan gelas, menabrak perabotan, atau menarik pakaian yang baru dilipat kembali ke lantai, itu tidak akan menjadi hal yang lucu. Di dunia nyata, tidak ada lintasan tetap atau properti yang tersusun rapi. Gelas yang sedikit dipindahkan, lapangan tambahan di atas meja, dapat membuat gerakan yang telah dilatih menjadi tidak valid. Memindahkan proses uji coba dan kesalahan robot ke dunia virtual adalah persis apa yang ingin dilakukan oleh model dunia saat ini. Model ini mencoba merekonstruksi lingkungan yang sesuai dengan hukum fisika, memungkinkan robot melakukan simulasi sebelum benar-bar bertindak: apakah tangan bergeser ke kiri sedikit akan meleset, atau apakah penjepit yang tertutup lebih awal akan menabrak gelas. Namun pada kenyataannya, banyak model dunia tidak dapat melakukan 'uji virtual' yang andal. Mereka mungkin memahami gambar, tetapi tidak benar-benar menaati perintah gerakan. Seiring berjalannya waktu simulasi, objek dan posisi mulai bergeser. Strategi yang berkinerja lebih baik di dunia virtual belum tentu efektif pada robot asli. Saat robot mulai beralih dari arena kompetisi ke skenario dunia nyata, Zibianliang Robotics merilis model dunia autoregresif WALL-SS. 'Lapangan latihan virtual' yang dibangun oleh WALL-SS akhirnya menembus hambatan model dunia. Apakah tindakan benar-benar dapat mengubah hasil, apakah koherensi dapat dipertahankan dalam tugas yang panjang, dan apakah skor virtual dapat bertahan dalam pengujian mesin asli, semuanya memiliki solusi dan jawaban baru. Model ini dapat mensimulasikan tugas menuang air dan menyusun benda selama 60 detik untuk menguji hasil berbagai tindakan: mengambil gelas dengan cara yang berbeda, apakah akan meleset, menabrak gelas, atau berhasil mengambilnya? Tim peneliti juga menempatkan beberapa strategi robot ke dalam WALL-SS dan dunia nyata untuk diuji. Strategi gerakan yang berkinerja baik di dunia virtual sering kali juga memberikan hasil yang baik ketika dipindahkan ke dunia fisik. Ini sangat menarik, 'mimpi' yang dialami robot kini mulai dapat digunakan untuk berlatih dan menyaring tindakan nyata.

Terkait **Halaman Proyek: http://x2robot.com/pages/ss Tautan Makalah: https://github.com/X-Square-Robot/wall-ss/blob/main/wall-ss-paper.pdf Tautan Github: https://github.com/X-Square-Robot/wall-ss

Cara robot 'bermimpi' akan menentukan apakah ia akan gagal di dunia nyata

Model dunia saat ini merupakan salah satu arah yang paling banyak diperhatikan dalam kecerdasan berbasis fisik (embodied AI). Model ini dapat dipahami sebagai sistem pratinjau dalam otak robot. Jika diberikan gambar saat ini dan serangkaian tindakan yang akan dieksekusi, model akan memprediksi apa yang akan terjadi selanjutnya. Jika lengan robot bergerak ke kiri 1 sentimeter, apakah gelas akan berhasil diambil atau tertabrak? Laci sudah terbuka, apakah langkah selanjutnya harus mengambil barang, atau menyesuaikan sudut pergelangan tangan terlebih dahulu? Robot dapat membandingkan beberapa masa depan, lalu memutuskan jalur tindakan mana yang akan diambil.

Perusahaan robot juga dapat memasukkan berbagai versi kebijakan gerakan ke dalam model dunia untuk diuji. Versi yang berkinerja lebih baik kemudian diuji pada robot asli, menghemat biaya pengujian gerakan di dunia nyata yang mahal. Masalahnya, banyak model dunia sering kali bertindak lebih seperti sutradara yang terlalu optimis. Data pelatihan robot biasanya didominasi oleh demonstrasi yang berhasil. Jika model melihat bahwa sebagian besar tindakan penutupan penjepit diikuti oleh benda yang terangkat, model akan mengambil jalan pintas: selama penjepit tertutup, benda harus terangkat. Bahkan jika masih ada celah yang jelas antara penjepit dan benda, benda dalam gambar yang dihasilkan mungkin secara aktif menempel pada penjepit. Makalah ini menyebut fenomena ini sebagai kesalahan 'pengambilan gaya magnet'.

Penyimpangan seperti ini mungkin tidak terlihat dalam gerakan besar seperti berlari atau menari, tetapi dalam operasi presisi, hal itu secara langsung menentukan keberhasilan atau kegagalan. Jika penjepit meleset beberapa milimeter dari pegangan gelas, robot mungkin akan gagal mengambilnya. Jika sudut colokan sedikit menyimpang, colokan akan sulit dimasukkan ke dalam port. Transisi robot dari 'bisa melakukan' menjadi 'berhasil melakukan' sering kali terhenti pada beberapa milimeter terakhir. Jika model dunia secara langsung menghapus beberapa milimeter ini, semakin lancar masa depan yang diberikan, semakin robot cenderung menilai tingkat keandalan suatu tindakan secara berlebihan. Jika waktu simulasi terlalu lama, masalah baru akan muncul. Setelah model dunia menghasilkan satu bagian gambar, model harus menggunakannya sebagai dasar untuk prediksi bagian selanjutnya. Sedikit kesalahan di awal akan terus menumpuk di kemudian hari. Objek mungkin perlahan bergeser dari posisi semula, dan hubungan kontak antara penjepit dan gelas juga akan berubah. Jika hanya menyimpan beberapa bingkai terbaru, model akan melupa apa yang telah dilakukan sebelumnya, tetapi jika menyimpan seluruh riwayat, beban komputasi dan penggunaan memori akan terus meningkat. Tampilan video yang realistis tidak menjamin bahwa strategi yang dipilih oleh model benar-benar lebih baik. Penelitian dan pengembangan robot perlu mengetahui apakah pemenang dalam uji virtual masih dapat memimpin saat diterapkan pada robot asli. Model dunia perlu memastikan bahwa tindakan yang berbeda benar-benar mengarah pada hasil yang berbeda; gambar yang lancar hanya menyelesaikan langkah paling superficial.**

Bagaimana robot bergerak, masa depan harus berubah seperti itu

Saat WALL-SS memprediksi gambar dalam beberapa detik berikutnya, model akan membuat 'pratinjau resolusi rendah' terlebih dahulu.

Dalam pratinjau ini, model pertama-tama menentukan arah umum: ke mana lengan robot akan bergerak, dan bagaimana objek akan bergerak secara kasar. Kemudian, model memperjelas gambar yang sama lapis demi lapis, melengkapi kontur objek, buka-tutup penjepit, dan posisi kontak.

Makalah ini menyebut hierarki dari kontur besar hingga detail kecil ini sebagai 'skala'. Gambar yang telah dihasilkan dan tindakan yang telah terjadi akan menjadi riwayat untuk prediksi berikutnya, inilah yang disebut 'autoregresi skala berikutnya'.

Setiap kali gambar menjadi lebih jelas, tindakan tersebut akan memengaruhi masa depan sekali lagi.

Apakah lengan bergerak ke kiri atau ke kanan, akan mengubah arah gerakan dalam gambar resolusi rendah terlebih dahulu. Kapan penjepit ditutup, akan terus memengaruhi apakah gelas tersentuh dalam gambar yang jelas.

Setelah sebagian kecil masa depan dihasilkan, hal tersebut akan masuk ke dalam memori bersama dengan tindakan yang telah terjadi, menjadi dasar bagi model untuk melanjutkan...