Metas åpen kildekode AI-modell etterlater ingen språk

Meta NLLB main


Vi er glade for å bringe Remodel 2022 tilbake personlig 19. juli og nesten 20. – 28. juli. Bli med AI- og dataledere for innsiktsfulle samtaler og spennende nettverksmuligheter. Registrer deg i dag!


Med hver innovasjon, kommer Meta, sosialt metaverset selskap, nærmere å oppfylle sitt oppdrag om å “gi folks kraften til å bygge fellesskap og bringe verden sammen.” I dag kunngjorde selskapet et forskningsgjennombrudd i sitt No Language Left Behind-prosjekt (NLLB) designet for å utvikle høykvalitets maskinoversettelsesfunksjoner for de fleste av verdens språk.

Med Metas grunnlegger og administrerende direktør Mark Zuckerburgs ord, “Vi har nettopp åpnet en AI-modell vi bygde som kan oversette på tvers av 200 forskjellige språk – hvorav mange ikke støttes av dagens oversettelsessystemer. Vi kaller dette prosjektet No Language Left Behind, og AI-modelleringsteknikkene vi brukte hjelper til med å lage oversettelser av høy kvalitet for språk som snakkes av milliarder av mennesker rundt om i verden.»

Flere språk, mindre kommunikasjon

Med en verdensomspennende digital befolkning på over fem milliarder mennesker som snakker 7151 språk, er det ikke rart at moderne oversettelsessystemer er etterspurt. Imidlertid begrenser mangelen på språklige knowledge rekkevidden til oversettelsesteknologier som forsøker å bygge bro over språklige barrierer i forbruket av digitalt innhold. Til tross for sofistikeringen til Googles flerspråklige nevrale maskinoversettelsestilbud, Google Translate, er oversettelsesmulighetene begrenset til 133 språk.

Microsoft Bing Translator, et annet oversettelsesverktøy fra et av verdens største teknologiselskaper, gjør litt over 100 språk. Tatt i betraktning at mer enn halvparten av den globale befolkningen snakker naked 23 av de 7 151 verdensspråkene som er svært vanlige på internett, støttes mange lavressursspråk (spesielt i Afrika og Asia) ikke i disse systemene. Dette indikerer en hemmet interaktiv flyt mellom de som snakker disse språkene og innholdet de ønsker å konsumere.

AI og oversettelse i bedriften

Av de mange måtene kunstig intelligens (AI) omdefinerer menneskelig interaksjon og effektivitet, er oversettelse en av de mest spennende. Maskinoversettelse, manifestasjonen av kunstig intelligens i oversettelse, er et marked verdsatt til $800 millioner per 2021, med en anslått verdi på $7,5 milliarder innen 2030.

World Market Insights avslørte at det økende behovet for bedrifter for å forbedre kundeopplevelsen er en viktig driver for maskinoversettelses bransjevekst. Dette underbygges av Gartners undersøkelser, som avslører at oversettelse er et bredt forretningsproblem, spesielt ettersom det blir stadig mer related i fireplace retailer synkrone og asynkrone brukstilfeller: multimedia (f.eks. opplæring og seminarer), on-line kundesalg og assist (f.eks. forespørsler). og chatbots), sanntids multimedia (møter osv.) og dokumenter, tekster og segmenter (f.eks. blogger og produktinformasjon).

Derfor krever bedrifter som håper å drive en mer international rekkevidde inkluderende oversettelsesløsninger som møter de stadig mer komplekse kravene til en international forbrukerbase. Det er her Metas prosjekt kommer inn.

Et gjennombrudd innen maskinoversettelse av høy kvalitet

NLLB-prosjektet, som ble lansert for over seks måneder siden, er Metas ambisiøse forsøk på å bygge en universell språkoversetter som kan behandle alle språk uavhengig av de språklige dataene som er tilgjengelige for AI. I dag har Meta annonsert et gjennombrudd i dette prosjektet kalt NLLB-200 – en enkelt AI-modell som oversetter over 200 forskjellige språk med toppmoderne resultater.

Denne modellen støtter oversettelse av høy kvalitet av mindre utbredte språk, spesielt fra Asia og Afrika. Modellen støtter for eksempel oversettelse av 55 ressurssvake afrikanske språk, en økning på 46 % i forhold til hva som er tilgjengelig med eksisterende oversettelsesverktøy.

Meta hevder at for noen afrikanske og indiske språk forbedrer denne modellen eksisterende oversettelsessystemer med mer enn 70 % og oppnår også en gjennomsnittlig økning på 44 % i totalresultatet for tospråklige evalueringsstudier (BLEU) på tvers av de 10 000 retningene til FLORES-101-referansen. .

bdDq1uqllMLbyogJzqrijTN4VbXJ bOAlLR5yqGqGJBoycGRiiXHlMyDKuRXE5kf1Uv0zro pdyPSoHwEFWl L0V7LX8AAUCWeJGVsJS9 flu OukBZ icsZsMh4ALuLorx64n0gnBeZn7vvw?is pending load=1

Kilde: Meta

For å gi en følelse av skalaen, Zuckerburg avslører at “200-språkmodellen har over 50 milliarder parametere, [trained] ved hjelp av [Meta’s] nye Analysis SuperCluster (RSC), som er en av verdens raskeste AI-superdatamaskiner. Fremskrittene her vil muliggjøre mer enn 25 milliarder oversettelser hver dag på tvers av appene våre.»

Til tross for dette gjennombruddet innser Meta at å nå NLLBs prosjektmål vil være umulig uten innovativt samarbeid. For å gjøre det mulig for andre forskere å utvide språkrekkevidden og bygge mer inkluderende teknologier, gjorde den NLLB-200-modellen åpen kildekode og ga også bevilgninger på opptil $200 000 til ideelle organisasjoner for å bruke NLLB-200 til deres virksomhet.

De vidtrekkende implikasjonene av denne modellen for de over 25 milliarder oversettelsene på Metas plattformer vil fremskynde bedre samarbeid og fellesskapsbygging som trosser språklige og geografiske barrierer. I følge Zuckerburg, “kommunikasjon på tvers av språk er en superkraft som AI gir, males ettersom vi fortsetter å fremme AI-arbeidet vårt, forbedrer det alt vi gjør – fra å vise det mest interessante innholdet på Fb og Instagram, til å anbefale mer relevante annonser, til å beholde våre tjenester trygge for alle.”

Wikipedia vil også utnytte denne teknologien til å oversette mediestykkene deres til over 20 ressurssvake språk.

Begin demoen for å utforske hvordan denne modellen fungerer.

VentureBeats oppdrag skal være et digitalt bytorg for tekniske beslutningstakere for å få kunnskap om transformativ bedriftsteknologi og transaksjoner. Lær mer om medlemskap.

admin

Leave a Reply

Your email address will not be published.