Membuat Cetakan 3D 'patung gerak' Dari video 2D

Membuat Cetakan 3D ‘patung gerak’ Dari video 2D

Posted on

Ttcvc.com Patriot quarterback Tom Brady sering mendapatkan apresiasi atas keberhasilannya untuk menghabiskan berjam-jam mempelajari gerakan lawannya di film. Pemahaman gerakan ini diperlukan untuk semua spesies yang hidup untuk mencari tahu tentang gerakan pemangsa dan mangsa. Tapi video sederhana tidak bisa memberi kita gambaran lengkap.

Itu karena video dan foto tradisional untuk mempelajari gerakan adalah dua dimensi, dan tidak menunjukkan kepada kita struktur 3-D yang mendasari orang atau subjek yang diinginkan. Tanpa geometri penuh, kita tidak dapat memeriksa gerakan kecil dan halus yang membantu kita bergerak lebih cepat, atau memahami presisi yang dibutuhkan untuk menyempurnakan bentuk atletik kita.

Baru-baru ini, para peneliti dari MIT’s Computer Science dan Artificial Intelligence Laboratory (CSAIL) telah menemukan cara untuk mendapatkan pemahaman yang lebih baik tentang pemahaman gerakan yang kompleks ini.

Sistem baru ini menggunakan algoritma yang dapat mengambil video 2-D dan mengubahnya menjadi cetakan “ukiran patung” 3-D yang menunjukkan bagaimana tubuh manusia bergerak melalui ruang. Selain menjadi visualisasi estetika yang menarik tentang bentuk dan waktu, tim membayangkan bahwa sistem “MoSculp” mereka dapat memungkinkan studi gerak yang lebih rinci untuk atlet profesional, penari, atau siapa saja yang ingin meningkatkan keterampilan fisik mereka.

“Bayangkan Anda memiliki video Roger Federer yang menyajikan bola dalam pertandingan tenis, dan video tentang diri Anda belajar tenis,” kata mahasiswa PhD Xiuming Zhang, penulis utama makalah baru tentang sistem tersebut. “Anda kemudian bisa membangun patung gerak dari kedua skenario untuk membandingkannya dan studi yang lebih komprehensif di mana Anda perlu meningkatkan.”

Karena patung gerakan 3-D, pengguna dapat menggunakan antarmuka komputer untuk bernavigasi di sekitar struktur dan melihatnya dari sudut pandang yang berbeda, mengungkapkan informasi terkait gerakan yang tidak dapat diakses dari sudut pandang aslinya.

Zhang menulis makalah bersama profesor MIT William Freeman dan Stefanie Mueller, mahasiswa PhD Jiajun Wu, peneliti Google Qiurui He dan Tali Dekel, serta U.C. Berkeley postdoc dan mantan CSAIL PhD Andrew Owens.

Bagaimana itu bekerja

Seniman dan ilmuwan telah lama berjuang untuk mendapatkan wawasan yang lebih baik tentang gerakan, dibatasi oleh lensa kamera mereka sendiri dan apa yang bisa diberikannya.

Pekerjaan sebelumnya kebanyakan menggunakan apa yang disebut teknik fotografi “stroboskopik”, yang sangat mirip dengan gambar-gambar di buku flip yang dijahit bersama. Tapi karena foto-foto ini hanya menunjukkan jepretan gerakan, Anda tidak akan dapat melihat banyak lintasan lengan seseorang ketika mereka memukul bola golf, misalnya.

Terlebih lagi, foto-foto ini juga membutuhkan pengaturan pra-jepret yang melelahkan, seperti menggunakan latar belakang yang bersih dan kamera kedalaman khusus serta peralatan pencahayaan. Semua kebutuhan MoSculp adalah urutan video.

Dengan adanya video masukan, sistem pertama secara otomatis mendeteksi poin-poin kunci 2-D pada tubuh subjek, seperti pinggul, lutut, dan pergelangan kaki balerina saat dia melakukan urutan tari yang rumit. Kemudian, dibutuhkan pose terbaik dari titik-titik itu untuk diubah menjadi 3-D “skeleton.”

Setelah menyambung kerangka ini bersama-sama, sistem menghasilkan patung gerak yang dapat dicetak 3-D, menunjukkan kelancaran, alur gerakan berkelanjutan yang dilacak oleh subjek. Pengguna dapat menyesuaikan gambar mereka untuk fokus pada bagian tubuh yang berbeda, menetapkan bahan yang berbeda untuk membedakan antar bagian, dan bahkan menyesuaikan pencahayaan.

Dalam studi pengguna, para peneliti menemukan bahwa lebih dari 75 persen subjek merasa bahwa MoSculp memberikan visualisasi yang lebih rinci untuk mempelajari gerakan daripada teknik fotografi standar.

“Tarian dan gerakan atletik yang sangat terampil sering tampak seperti ‘pahatan bergerak’ tetapi mereka hanya menciptakan bentuk yang singkat dan singkat,” kata Courtney Brigham, pimpinan komunikasi di Adobe. “Karya ini menunjukkan bagaimana mengambil gerakan dan mengubahnya menjadi patung nyata dengan visualisasi gerakan yang obyektif, menyediakan cara bagi para atlet untuk menganalisis gerakan mereka untuk pelatihan, yang tidak memerlukan peralatan lebih dari kamera ponsel dan beberapa waktu komputasi.”

Sistem ini berfungsi paling baik untuk gerakan yang lebih besar, seperti melempar bola atau melompati lompatan selama rentetan tarian. Ini juga berfungsi untuk situasi yang mungkin menghalangi atau menyulitkan gerakan, seperti orang yang mengenakan pakaian longgar atau membawa benda.

Saat ini, sistem hanya menggunakan skenario satu orang, tetapi tim segera berharap untuk memperluas ke beberapa orang. Ini bisa membuka potensi untuk mempelajari hal-hal seperti gangguan sosial, interaksi interpersonal, dan dinamika tim.

Tim akan mempresentasikan makalah mereka pada sistem bulan depan di konferensi User Interface Software and Technology (UIST) di Berlin, Jerman.