Deep Dive: Hvorfor 3D-rekonstruksjon kan være den neste tekniske forstyrreren

[ad_1]

Klarte du ikke å delta på Remodel 2022? Sjekk ut alle toppmøtene i vårt on-demand-bibliotek nå! Se her.


Systemer med kunstig intelligens (AI) må forstå visuelle scener i tre dimensjoner for å tolke verden rundt oss. Av den grunn spiller bilder en viktig rolle i datasyn, og påvirker kvalitet og ytelse betydelig. I motsetning til allment tilgjengelige 2D-data, er 3D-data rike på skala- og geometriinformasjon, noe som gir en mulighet for en bedre forståelse av maskinmiljøet.

Datadrevet 3D-modellering, eller 3D-rekonstruksjon, er et voksende datasynsdomene som i økende grad etterspørres fra bransjer, inkludert utvidet virkelighet (AR) og virtuell virkelighet (VR). Raske fremskritt innen implisitt nevrale representasjon åpner også for spennende nye muligheter for virtuell virkelighetsopplevelse.

3D-rekonstruksjon genererer et 3D-objekt eller scenerepresentasjon ved å kombinere et sparsomt sett med bilder av objektet eller scenen fra vilkårlige synspunkter. Metoden gir mulighet for nøyaktig rekonstruksjon av former med komplekse geometrier, samt høyere fargerekonstruksjon.

3D-rekonstruksjon i den digitale virkelighetens tid

Med fremveksten av digitale opplevelser og nye virtuelle konsepter som metaverse, er det avgjørende å ha verktøy som kan lage nøyaktige 3D-rekonstruksjoner fra bildedata. Virkelige applikasjoner av denne teknologien lar brukere praktisk talt prøve klær mens de handler i AR og VR, i tillegg til å behandle medisinske bildedata. Den kan også brukes til videorekonstruksjon med frie synspunkter, robotkartlegging, reverse engineering og til og med gjenoppleving av minneverdige øyeblikk fra forskjellige perspektiver. I følge en SkyQuest-undersøkelse vil det globale 3D-rekonstruksjonsteknologimarkedet være verdt 1300 millioner greenback innen 2027.

3D-rekonstruksjon er nå en prioritet av teknologi- og e-handelsgiganter, siden det ikke naked legger grunnlaget for en fremtidig tilstedeværelse i virtuelle verdener, males også gir umiddelbare håndgripelige forretningsfordeler innen reklame eller sosial handel.

Nylig rapporterte Shopify at selgere som legger til 3D-innhold i butikkene sine, ser en konverteringsøkning på 94 %, en langt større innvirkning enn videoer eller bilder ettersom 3D-representasjoner gir kundene detaljer som bilder alene ikke kan.

For å utvikle 3D-rekonstruksjonsimplementeringer, må intelligente kontekstforstående systemer gjenkjenne et objekts geometri så vel som dets forgrunn og bakgrunn for nøyaktig å forstå dybden til scener og objekter avbildet i 2D-bilder og -videoer. Avanserte dyplæringsteknikker og økt tilgjengelighet av retailer treningsdatasett har ført til en ny generasjon metoder for å fange 3D-geometri og objektstruktur fra ett eller flere bilder uten behov for komplekse kamerakalibreringsprosedyrer.

Hvordan 3D-rekonstruksjon hjelper datasyn

Syntetisering av 3D-data fra et enkelt synspunkt er en grunnleggende funksjonalitet for menneskesyn som datasynsalgoritmer sliter med. Videre, siden 3D-data er dyrere å anskaffe enn 2D-data, har det vært utfordrende å få tilgang til teksturerte 3D-data for å effektivt trene maskinlæringsmodeller for å forutsi korrekte teksturer. For å møte disse kravene kombinerer 3D-rekonstruksjonsløsninger sømløst ekte og virtuelle objekter i AR uten å kreve retailer mengder information å lære av eller være begrenset til noen få perspektiver.

3D-rekonstruksjon bruker et ende-til-ende dyplæringsrammeverk som tar et enkelt RGB-fargebilde som enter og konverterer 2D-bildet til en 3D mesh-modell i et mer ønskelig kamerakoordinatformat. De perseptuelle egenskapene i 2D-bildet trekkes ut og utnyttes av et grafbasert konvolusjonelt nevralt nettverk, som produserer et 3D-nett ved gradvis å konvertere enter til ellipsoider til det når en semantisk korrekt og optimalisert geometri. De grove kantene i den avledede 3D-modellen finjusteres ved hjelp av en tett prediksjonstransformator (DPT), som bruker visuelle transformatorer for å gi mer finkornet utgang.

Nåværende implementeringer av 3D-rekonstruksjon

Meta slapp nylig Implicitron, en 3D-rekonstruksjonsarkitektur som muliggjør rask prototyping og 3D-rekonstruksjon av objekter. Implicitron bruker flere formarkitekturer for å generere implisitte former, der en renderer videre analyserer inngangsbildet for å konvertere 2D-inndata til en 3D-modell. For å lette 3D-eksperimentering inkluderer modellen en plug-in og et konfigurasjonssystem som lar brukere definere komponentimplementeringer og forbedre konfigurasjoner mellom implementeringer.

Åpen kildekode-modellen “3Dification” kan rekalibrere kameravinkler og rammer etter videoopptak ved å behandle en samling videoer som enter og videre rekonstruere miljøet og scenen som er tilstede i videoen gjennom 3D-rekonstruksjon og 3D-poseringsestimeringsmetoder. Den behandlede utgangen muliggjør pålitelig re-identifikasjon i tilfeller med utfordrende opptaksoverganger, der kameraets synspunkter ikke er betydelige nok i visse scener.

Fremtidige muligheter

3D-forskning er avgjørende for å lære systemer hvordan de skal forstå alle perspektiver til objekter, selv når de er hindret, skjult eller har andre optiske utfordringer.

Videre utvikling av bærekraftige og gjennomførbare tilnærminger vil øke tilgangen til større vitenskapelige miljøer og publikum samtidig som interoperabiliteten forbedres. Å inkludere 3D-rekonstruksjon med dype læringsrammer som taktil sansing og naturlig språkforståelse kan hjelpe AI-systemer til å forstå tre dimensjoner mer intuitivt, akkurat som mennesker gjør.

VentureBeats oppdrag skal være et digitalt bytorg for tekniske beslutningstakere for å få kunnskap om transformativ bedriftsteknologi og transaksjoner. Lær mer om medlemskap.

[ad_2]

admin

Leave a Reply

Your email address will not be published. Required fields are marked *