An engem neien Artikel Point-E: E System fir 3D Punktwolleken aus komplexe Signaler ze generéieren, stellt d'OpenAI Fuerschungsteam Point E vir, en 3D Punktwollek Text bedingt Synthese System deen Diffusiounsmodeller benotzt fir variéiert a komplex 3D Formen ze kreéieren déi duerch komplexen Text gedriwwe ginn. cues.a Minutten op engem eenzege GPU.
Déi erstaunlech Leeschtung vun haut modernste Bildgeneratiounsmodeller huet Fuerschung an der Generatioun vun 3D Textobjekter stimuléiert.Wéi och ëmmer, am Géigesaz zu 2D Modeller, déi Output a Minutten oder souguer Sekonnen generéiere kënnen, erfuerderen Objektgenerativ Modeller typesch e puer Stonnen GPU Aarbecht fir eng eenzeg Probe ze generéieren.
An engem neien Artikel Point-E: E System fir 3D Punktwolleken aus komplexe Signaler ze generéieren, presentéiert d'OpenAI Fuerschungsteam Point·E, en textuell bedingte Synthesesystem fir 3D Punktwolleken.Dës nei Approche benotzt e Verbreedungsmodell fir variéiert a komplex 3D Formen aus komplexen Textsignaler an nëmmen enger Minutt oder zwou op enger eenzeger GPU ze kreéieren.
D'Team konzentréiert sech op d'Erausfuerderung fir Text an 3D ze konvertéieren, wat kritesch ass fir 3D-Inhaltskreatioun fir real Weltapplikatiounen ze demokratiséieren, rangéiert vu virtueller Realitéit a Gaming bis zum industriellen Design.Bestehend Methoden fir Text ze 3D Ëmwandlung falen an zwou Kategorien, all vun deenen huet seng Nodeeler: 1) generativ Modeller kann benotzt ginn Echantillon effikass ze Generéiere, mä kann net effikass Skala fir verschiddenste a komplex Text Signaler;2) e pre-trainéierten Textbildmodell fir komplex a variéiert Textzeechen ze handhaben, awer dës Approche ass computationell intensiv an de Modell ka ganz einfach a lokalen Minima hänke bleiwen, déi net mat sënnvoll oder kohärent 3D Objekter entspriechen.
Dofir huet d'Team eng alternativ Approche exploréiert déi zielt fir d'Stäerkte vun den uewe genannten zwou Approche ze kombinéieren, mat engem Text-zu-Bild Diffusiounsmodell trainéiert op enger grousser Set vun Text-Bildpaeren (wat et erlaabt divers a komplex Signaler ze handhaben) an en 3D Bilddiffusiounsmodell trainéiert op e méi klenge Set vun Text-Bildpaeren.Bild-3D Pair Dataset.Den Text-zu-Bild-Modell probeiert als éischt d'Input-Bild fir eng eenzeg synthetesch Representatioun ze kreéieren, an de Bild-zu-3D-Modell erstellt eng 3D Punktwollek baséiert op dem gewielte Bild.
De Generative Stack vum Kommando baséiert op kierzlech proposéierte generative Kaderen fir bedingend Biller aus Text ze generéieren (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Si benotzen e GLIDE-Modell mat 3 Milliarde GLIDE-Parameteren (Nichol et al., 2021), ofgestëmmt op rendered 3D Modeller, als hiren Text-zu-Bild Transformatiounsmodell, an eng Rei vun Diffusiounsmodeller déi RGB Punktwolleke generéieren als hir Transformatiounsmodell.Biller ze Bild.3D Modeller.
Wärend fréier Aarbecht 3D Architekturen benotzt fir Punktwolleken ze verarbeiten, hunn d'Fuerscher en einfachen Transducer-baséiert Modell benotzt (Vaswani et al., 2017) fir d'Effizienz ze verbesseren.An hirer Diffusiounsmodellarchitektur ginn Punktwolleksbiller fir d'éischt an e pre-trainéierte ViT-L/14 CLIP Modell gefüttert an dann ginn d'Ausgangsmeshë an den Konverter als Markéierer gefüttert.
An hirer empirescher Etude huet d'Team déi proposéiert Point · E Methode mat anere generativen 3D Modeller verglach fir Signaler aus COCO Objekterkennung, Segmentatioun an Ënnerschrëft Datesets ze markéieren.D'Resultater bestätegen datt Point·E fäeg ass divers a komplex 3D Formen aus komplexen Textsignaler ze generéieren an d'Inferenzzäit ëm een bis zwee Uerderen vun der Gréisst ze beschleunegen.D'Team hofft datt hir Aarbecht weider Fuerschung an 3D Textsynthese inspiréiere wäert.
E pretrained Punktwollek Verbreedungsmodell an Evaluatiounscode sinn um GitHub vum Projet verfügbar.Document Point-E: E System fir 3D Punktwolleken aus komplexen Hiweiser ze kreéieren ass op arXiv.
Mir wëssen datt Dir keng Neiegkeeten oder wëssenschaftlech Entdeckung wëllt verpassen.Abonnéiert Iech op eise populäre Synchroniséierte Global AI Weekly Newsletter fir wëchentlech AI Updates ze kréien.
Post Zäit: Dez-28-2022