OpenAI reduserer prisen på GPT-3 API – her er grunnen til at det er viktig

Screen Shot 2022 08 25 at 1.03.25 PM

[ad_1]

Klarte du ikke å delta på Remodel 2022? Sjekk ut alle toppmøtene i vårt on-demand-bibliotek nå! Se her.


OpenAI kutter prisen på sin GPT-3 API-tjeneste med opptil to tredjedeler, ifølge en kunngjøring på selskapets nettside. Den nye prisplanen, som trer i kraft 1. september, kan ha stor innvirkning på selskaper som bygger produkter på toppen av OpenAIs flaggskip retailer språkmodell (LLM).

Kunngjøringen kommer ettersom de siste månedene har sett økende interesse for LLM-er og deres applikasjoner på forskjellige felt. Og tjenesteleverandører vil måtte tilpasse sine forretningsmodeller til endringene i LLM-markedet, som vokser raskt og modnes.

Den nye prisene på OpenAI API fremhever noen av disse endringene som finner sted.

Et større marked med flere aktører

Transformatorarkitekturen, introdusert i 2017, banet vei for dagens retailer språkmodeller. Transformatorer er egnet for å behandle sekvensielle knowledge som tekst, og de er mye mer effektive enn deres forgjengere (RNN og LSTM) i skala. Forskere har konsekvent vist at transformatorer blir kraftigere og mer nøyaktige ettersom de gjøres større og trenes på større datasett.

Begivenhet

MetaBeat 2022

MetaBeat vil samle tankeledere for å gi veiledning om hvordan metaversteknologi vil transformere måten alle bransjer kommuniserer og driver forretninger på 4. oktober i San Francisco, CA.

Registrer her

I 2020 introduserte forskere ved OpenAI GPT-3, som viste seg å være et vannskille for LLM-er. GPT-3 viste at LLM-er er «få-skudd-elever», noe som i bunn og grunn betyr at de kan utføre nye oppgaver uten å gjennomgå ekstra treningssykluser og ved å bli vist noen få eksempler på farten. Males i stedet for å gjøre GPT-3 tilgjengelig som en åpen kildekode-modell, bestemte OpenAI seg for å gi ut en kommersiell API som en del av arbeidet med å finne måter å finansiere forskningen på.

GPT-3 økte interessen for LLM-applikasjoner. En rekke selskaper og startups begynte å lage nye applikasjoner med GPT-3 eller integrere LLM i sine eksisterende produkter.

Suksessen til GPT-3 oppmuntret andre selskaper til å starte sine egne LLM-forskningsprosjekter. Google, Meta, Nvidia og andre retailer teknologiselskaper fremskyndet arbeidet med LLM-er. I dag er det flere LLM-er som matcher eller overgår GPT-3 i størrelse eller benchmark-ytelse, inkludert Metas OPT-175B, DeepMinds Chinchilla, Googles PaLM og Nvidias Megatron MT-NLG.

GPT-3 utløste også lanseringen av flere åpen kildekode-prosjekter som hadde som mål å bringe LLM-er tilgjengelig for et bredere publikum. BigSciences BLOOM og EleutherAIs GPT-J er to eksempler på åpen kildekode LLM som er tilgjengelig free of charge.

Og OpenAI er ikke lenger det eneste selskapet som tilbyr LLM API-tjenester. Hugging Face, Cohere og Humanloop er noen av de andre aktørene på feltet. Hugging Face tilbyr et stort utvalg forskjellige transformatorer, som alle er tilgjengelige som nedlastbare åpen kildekode-modeller eller through API-kall. Hugging Face lanserte nylig en ny LLM-tjeneste drevet av Microsoft Azure, som OpenAI også bruker for GPT-3 API.

Den økende interessen for LLM og mangfoldet av løsninger er to elementer som legger press på API-tjenesteleverandører for å redusere fortjenestemarginene deres for å beskytte og utvide deres totale adresserbare marked.

Maskinvare fremskritt

En av grunnene til at OpenAI og andre selskaper bestemte seg for å gi API-tilgang til LLM-er er de tekniske utfordringene med å trene og kjøre modellene, som mange organisasjoner ikke kan håndtere. Mens mindre maskinlæringsmodeller kan kjøre på en enkelt GPU, krever LLM-er dusinvis eller til og med hundrevis av GPUer.

Bortsett fra enorme maskinvarekostnader, krever administrasjon av LLM-er erfaring med komplisert distribuert og parallell databehandling. Ingeniører må dele modellen i flere deler og distribuere den på tvers av flere GPUer, som deretter vil kjøre beregningene parallelt og i sekvenser. Dette er en prosess som er utsatt for feil og krever ad-hoc-løsninger for ulike typer modeller.

Males med LLM-er som blir kommersielt attraktive, er det økende insentiv for å lage spesialisert maskinvare for retailer nevrale nettverk.

OpenAIs prisside sier at selskapet har gjort fremskritt med å få modellene til å kjøre mer effektivt. Tidligere hadde OpenAI og Microsoft samarbeidet om å lage en superdatamaskin for retailer nevrale nettverk. Den nye kunngjøringen fra OpenAI antyder at forskningslaboratoriet og Microsoft har klart å gjøre ytterligere fremskritt med å utvikle bedre AI-maskinvare og redusere kostnadene ved å drive LLM-er i stor skala.

Igjen møter OpenAI konkurranse her. Et eksempel er Cerebras, som har laget en enorm AI-prosessor som kan trene og kjøre LLM-er med milliarder av parametere til en brøkdel av kostnadene og uten de tekniske vanskelighetene til GPU-klynger.

Andre retailer teknologiselskaper forbedrer også AI-maskinvaren. Google introduserte fjerde generasjon av sine TPU-brikker i fjor og sine TPU v4-poder i år. Amazon har også gitt ut spesielle AI-brikker, og Fb utvikler sin egen AI-maskinvare. Det ville ikke være overraskende å se de andre teknologigigantene bruke maskinvarekreftene sine for å prøve å sikre seg en andel av LLM-markedet.

Finjusterte LLM-er forblir forbudt – foreløpig

Den interessante detaljen i OpenAIs nye prismodell er at den ikke vil gjelde finjusterte GPT-3-modeller. Finjustering er prosessen med å omskolere en forhåndstrent modell på et sett med applikasjonsspesifikke knowledge. Finjusterte modeller forbedrer ytelsen og stabiliteten til nevrale nettverk på målapplikasjonen. Finjustering reduserer også slutningskostnadene ved å la utviklere bruke kortere meldinger eller mindre finjusterte modeller for å matche ytelsen til en større basismodell på deres spesifikke applikasjon.

For eksempel, hvis en financial institution tidligere brukte Davinci (den største GPT-3-modellen) for sin kundeservice chatbot, kan den finjustere de mindre Curie- eller Babbage-modellene på bedriftsspesifikke knowledge. På denne måten kan den oppnå samme ytelsesnivå til en brøkdel av kostnaden.

Med dagens priser koster finjusterte modeller det dobbelte av sine motparter i basismodellen. Etter prisendringen vil prisforskjellen stige til 4-6x. Noen har spekulert i at finjusterte modeller er der OpenAI virkelig tjener penger med bedriften, og det er grunnen til at prisene ikke endres.

En annen grunn kan være at OpenAI fortsatt ikke har infrastrukturen til å redusere kostnadene for finjusterte modeller (i motsetning til base GPT-3, hvor alle kunder bruker samme modell, krever finjusterte modeller én GPT-3-instans pr. kunde). I så fall kan vi forvente at prisene på finjustering vil falle i fremtiden.

Det blir interessant å se hvilke andre retninger LLM-markedet vil ta i fremtiden.

VentureBeats oppdrag skal være et digitalt bytorg for tekniske beslutningstakere for å få kunnskap om transformativ bedriftsteknologi og transaksjoner. Lær mer om medlemskap.



[ad_2]

admin

Leave a Reply

Your email address will not be published. Required fields are marked *