Nvidia GTC2024 ishte gjallë me një sallë ekspozite plot me shitës në Qendrën e Konventave në San Jose që ofronte variacione të AI, duke përfshirë robotë të llojit humanoid, duke përfshirë një version që pilotohej për t’u përdorur si asistent magazine në një fabrikë Mercedes-Benz.
Apptronik, me qendër në Austin, Teksas, tregoi një humanoid 160 paund, 5 këmbë 8 të quajtur Apollo që Mercedes-Benz po piloton për punë në fabrikë duke sjellë pjesë në linjën e prodhimit që punëtorët t’i montojnë, ndërsa gjithashtu inspekton komponentët në një fabrikë në Hungari, sipas një zyrtari në GTC. Apollo qëndronte në buzë të stendës së madhe të Nvidia-s në sallën e ekspozitës, së bashku me një humanoid tjetër të quajtur Digit nga Agility Robotics.
Asnjë nga dy humanoidët nuk po lëvizte ose po ecte në dyshemenë e ekspozitës, por Nvidia i identifikoi ata të dy së bashku me disa versione të tjera nga kompani të gatshme për të ndërmarrë hapin tjetër drejt projektit ambicioz të Nvidia-s GROOT, i cili është krijuar për të ndihmuar humanoidët të mësojnë shpejt detyra të reja nga demonstrimet njerëzore. .
Në skenë në fjalimin e tij kryesor GTC2024, CEO i Nvidia, Jensen Huang prezantoi veçmas Projektin GROOT si një mjet për të shtuar komponentë gjenerues të AI në platformën ekzistuese të harduerit dhe softuerit të kompanisë për robotët. Softueri përfshin përmirësime të rëndësishme në platformën robotike Isaac (e disponueshme në tremujorin e dytë) dhe funksionon me një kompjuter të fuqishëm Jetson Thor të bazuar në Thor SoC. Ai do të ketë fuqi të mjaftueshme kuaj-fuqi për të ndihmuar humanoidët të kryejnë detyra komplekse dhe të ndërveprojnë me njerëzit dhe makinat. Përmirësimet në Isaac përfshijnë modele dhe mjete gjeneruese të themelit të AI për simulimin dhe infrastrukturën e rrjedhës së punës së AI, tha Nvidia. (Thor përdoret gjithashtu në zhvillimin e automjeteve autonome, tha Huang.)
Karakteristikat e GROOT janë krijuar për të funksionuar për çdo mishërim roboti në çdo mjedis, duke përfshirë aftësinë për të trajnuar softuerin për të marrë vendime më të mira, të quajtur të mësuarit përforcues, tha Nvidia.
LIDHUR: GTC2024: Jensen zbulon fazën tjetër të AI: Blackwell GPU, humanoid GROOT, kohëzgjatje NIM
GROOT qëndron për Generalist Robot 00 Technology, e cila do të përdoret në robotë për të kuptuar gjuhën natyrore dhe për të imituar lëvizjet duke vëzhguar veprimet njerëzore për të mësuar koordinimin, shkathtësinë dhe aftësitë për të lundruar dhe përshtatur me botën reale. Jetson Thor SoC përfshin një GPU të bazuar në arkitekturën Nvidia Blackwell me një motor transformator që jep 800 teraflops të AI me pikë lundruese 8-bit për të ekzekutuar modele të përgjithshme multimodale të AI si GROOT. Ai gjithashtu ka një grup CPU dhe 100 GB bandwidth ethernet.
Nvidia tha se po ndërton një platformë gjithëpërfshirëse të AI për kompani të ndryshme humanoide duke përfshirë 1X Technologies, Agility Robotics, Apptronik, Boston Dynamics, Figure AI, Fourier Intelligence, Sanctuary AI, Unitree Robotics dhe XPENG Robotics.
CEO i Apptronik Jeffrey Cardenas me Apollo në GTC2024 (Matt Hamblen)
Në një njoftim për shtyp, Apptronik tha se GROOT do të integrohet me Apollo për t’u mundësuar zhvilluesve të marrin tekst, video dhe demonstrime njerëzore si kërkesa për detyra, të mësojnë aftësi të përgjithësueshme si koordinimi dhe shkathtësia dhe të gjenerojnë veprime si rezultate në harduerin e robotit. Në vend që thjesht të përsërisë veprimet në të dhënat e trajnimit, Apollo do të njohë mjedisin dhe do të parashikojë se çfarë të bëjë më pas për të arritur qëllimin e tij.”
Nga fundi i fjalimit kryesor të Huang në një video të shkurtër (në orën 1:51 në fjalimin kryesor, Apollo përdori një shtrydhëse frutash e perimesh dhe përgatiti lëngun për t’i shërbyer një personi – aftësi që kishte mësuar. Apollo dhe humanoidë të tjerë do të mësojnë nëpërmjet modeleve dhe simulimeve në Omniverse Isaac Sim, i cili është zvogëluar me Nvidia Osmo, një shërbim orkestrimi kompjuterik që koordinon flukset e punës nëpër sistemet DGX për trajnim dhe sistemet OVX për simulim. Humanoidët do të mësojnë gjithashtu nëpërmjet demonstrimeve njerëzore të detyrave.
Lidhja e GROOT me një model të madh gjuhësor e lejon atë të gjenerojë lëvizje duke ndjekur udhëzimet e gjuhës natyrore. Në një shembull të shkurtër në të njëjtën video, një inxhinier i kërkon verbalisht një humanoidi të quajtur GR-1 që t’i japë atij një pesë të lartë dhe roboti pajtohet me përgjigjen, “Sigurisht, le të shënojmë pesë”. (Inxhinierët e Nvidia, Yuke Zhu dhe Jim Fan ndihmuan në zhvillimin e teknologjisë, duke u shfaqur në stendën e Nvidia.)
Huang përshkroi në disa raste në GTC se si AI gjeneruese do të kërcejë nga përgjigjet në vizatime, video, tekst dhe kode bazuar në udhëzimet njerëzore në LLM tek udhëzimet e njohura nga robotët.
“Nëse një kompjuter mund të flasë, pse nuk mund të animojë një makinë?” pyeti ai në një seancë me gazetarët. Për një kompjuter, nuk ka asnjë ndryshim midis ofrimit të fjalëve ose lëvizjeve robotike. “Për kompjuterin, të dy janë thjesht numra; nuk e njeh dallimin, as pak”.
LIDHUR: Huang pohon se Nvidia ka lëvizur shumë përtej GPU-ve, por nuk është një CSP
Më shumë robotë
Robotët e varieteteve të tjera u ekspozuan në GTC2024, duke përfshirë katërkëmbësh dhe robotë të lëvizshëm që do të merrnin rolin e pirunëve në operacionet e magazinës. Inxhinieri i Nvidia-s, David Hoeller drejtoi një qen robot katërkëmbësh që të ngjitej mbi një kuti tre metra të lartë.