Ett år senare med LLMs: Predictions and Reflections

På senare tid har vi delat med oss av några av våra förutsägelser för 2024 för översättningsbranschen. En av våra förutsägelser är att AI-driven teknik kommer att bli ännu mer attraktiv för företag och i grunden kommer att bli ett krav för att ha en konkurrensfördel i branschen. 2023 var ett år som visade både de extraordinära kapaciteterna hos Generativ AI, särskilt stora språkmodeller, men det avslöjade också många brister och behovet av noggrant planerade utvecklings- och implementeringsbeslut.

Under 2024 kommer vi sannolikt att se effekten på översättningsindustrin växa exponentiellt och beröra alla stadier av lokaliseringsresan. Även om fokus hittills har legat på texttransformation och generering, kan utvecklingen av multimodala modeller börja påverka områden som multimedialokalisering, röstöversättning och bildöversättning också.

LLM-prognoser för 2024

Smartlings VP för maskinöversättning och AI, Olga Beregovaya, delade med sig av några av sina förutsägelser för översättningsbranschen 2024:

• Bättre stöd för long-tail-språk: Vi har redan sett att LLM:er kan skapa utbildningsdata för språk som inte har några resurser med hjälp av mönster från angränsande språk, vilket gör automatisk översättning tillgänglig och av högre kvalitet för ett större antal språk. Dessutom, eftersom LLM:er kan anpassa sig snabbt till lokala och geospecifika språksmaker, kommer översättning att kunna tillgodose fler olika målgrupper, såsom etniska och sociala grupper.
• Nya möjligheter för tillgänglighet: AI kommer att göra det möjligt för företag att anpassa sina produkter och tjänster till målgrupper med alla bakgrunder och förmågor. Till exempel kan en multimodal Large Language Model berätta skriven text för synskadade och transkribera för hörselskadade. AI kommer att öppna karriärmöjligheter för personer med inlärningssvårigheter genom att agera som olika typer av andrapiloter och inlärningsassistenter.
• Större regler och restriktioner: 2023 visade att brist på reglering och lagstiftningsåtgärder kring Generativ AI kan få skadliga konsekvenser. Missbruk av Generativ AI i språkrymden kan vara ett av de farligaste områdena eftersom det kan ge vika för saker som faktiska felaktigheter eller ett potentiellt skadligt beslut, som det ökända fallet med lånebeslut som diskriminerar vissa etniska och sociala grupper. Vi förväntar oss att se fler internationella tillsynsorgan och skyddsräcken kring utveckling och användning av AI-modeller i år.
• Mindre och smartare modeller: Vi har börjat se mycket starka prestanda från mindre modeller, utbildade på mindre datauppsättningar för specifika uppgifter (som Llama2 för specifika språk och översättningsuppgifter). Vi förutspår att många fler sådana mindre modeller kommer att finnas tillgängliga under det kommande året, utbildade av teknikleverantörer eller LSP:er för specifika språk och domäner.
• En fortsatt roll för NMT: Även med hypen kring LLM:er kommer traditionell neural maskinöversättning att fortsätta spela en roll i lokaliseringsutrymmet. I synnerhet har vi sett fortsatt användning i anpassning för specifika domäner. Att finjustera LLM:er är fortfarande en komplex och kostsam uppgift med många okända och trial-end-error, medan utbildning av NMT är ett väletablerat och framgångsrikt tillvägagångssätt som också är mycket kostnadseffektivt. Så småningom kommer vi att se konvergensen mellan de två tillvägagångssätten, och det kan möjligen hända 2024.

Använder LLM över Smartling

Vi gillade Olgas förutsägelser så mycket att vi bestämde oss för att be några fler av våra kollegor att reflektera över hur LLM har påverkat deras roller, översättningsbranschen som helhet och deras förväntningar för det kommande året.

Låt oss se vad de hade att säga:

Benjamin Loy, chefsingenjör

LLM genererade en ny vändpunkt för automatisering för hela översättningsbranschen. Grundläggande problem med att automatisera språktransformationer är äntligen inom räckhåll för att delvis eller helt lösas via dessa nya teknologier.

Alex Yanishevsky, chef för AI-utveckling

LLMs har djupt förändrat min roll, men ännu viktigare, de har dramatiskt förändrat hela vår bransch. När jag tittar in i nästa år är mitt mål: hur ger jag bäst råd till klienten, dvs om de myriader av möjligheter vi kan använda LLM till, vilka som ger högst värde och flyttar urtavlan längst för den kostnad som uppstår.

Chris Wyant, Assoc. chef för språktjänster

LLM:er gör automatisk översättning smartare, snabbare och effektivare än någonsin tidigare. Dessa tekniksprång gör att våra översättare kan arbeta mer effektivt än någonsin tidigare. Lingvister kan utöka sina karriärer genom att ta till sig dessa verktyg. Våra data visar att produktiviteten har ökat och att språkinkomsterna inte har tagit den träff som många hade befarat att de skulle göra.

Grace Feeney, försäljningsutvecklingschef

LLM har revolutionerat sättet mitt team närmar sig e-postskapande. Genom att samla in data från olika källor om potentiella kunder och företagets mål ger LLMs mitt team möjlighet att agera som redaktörer snarare än att skapa innehåll från grunden.

Nicole Michel, produktchef - maskinöversättning

Efter den första hypen blev det klart att LLM:er är riktigt bra på specifika uppgifter och mycket värdefulla för vissa användningsfall, men de är inte generalister och kommer inte att ersätta neural MT ännu, särskilt när MT-arbetsflöden också utnyttjar ordlista, TM och/eller specialutbildade motorer. Hallucinationer, kostnader och behovet av att skapa en separat uppmaning för att få de önskade resultaten för varje användningsfall begränsar för närvarande storskalig användning av LLM i många organisationer.

Andriy Furdylo, Team Lead Engineer

Jag har märkt många försök att införliva språkmodeller (LLM) i olika affärsområden, men alla har inte varit framgångsrika. Om du vet hur man ställer rätt frågor kan du uppnå utmärkta resultat. De är fortfarande bara en assistent, om än en mycket intelligent sådan.

Max Sogin, VP of Engineering

60 % av ingenjörsteamet använder ChatGPT eller GitHub Copilot dagligen. Vi har funnit att Trivial-prompter är betydligt mindre stabila och presterande än sofistikerade, som genomgår flera iterationer av testning och förfining. Jag är nyfiken på att se om uppmaningar i slutändan blir föremål för IP. Vi håller även ett öga på mindre LLM som LLama och Alpaca som kan erbjuda kostnadshantering och interna (mindre) modeller. LLM:er blir mycket dyra i stora volymer/skala.

Det är tydligt att LLM har haft en stor inverkan på Smartling under det senaste året eftersom vi har anammat dess användning i både vår produkt och i dagliga roller. Sammantaget kan vi definitivt kalla 2024 för "The Year of Responsible AI", där fördelarna med innovation kommer att skördas globalt på ett ansvarsfullt, etiskt och mest effektivt sätt. Vi ser fram emot att samarbeta med våra kunder för att utforska dessa nya funktioner tillsammans i år.