Hur man mäter och upprätthåller maskinöversättningskvalitet i stor skala

Internationell affärsstrategi idag kräver nu att innehåll flyttas över språk i hastigheter som skulle ha överväldigat översättningsteam under något tidigare decennium.

Maskinöversättning (MT) är nu kärnan i hur företagsinnehåll skalas, men översättningskvaliteten som den levererar kan vara inkonsekvent.

MT-utdata varierar beroende på språkpar, innehållstyp och arbetsflöde, även inom ett enda projekt. Den variansen betyder mer än den genomsnittliga kvalitetspoängen, eftersom tiden som spenderas på att korrigera en inkonsekvent sträng över innehåll med hög synlighet raderar effektivitetsvinsterna som gjorde MT värt.

Alla lokaliseringsprogram för företag står inför samma kompromisser när man använder MT i stor skala: hastighet mot flyt, kostnad mot kvalitet, skala mot kontroll.

Plattformar byggda för MT-kvalitetsstyrning förvandlar variabel utdata till tillförlitliga översättningar genom terminologikontroller, automatiserade granskningsvägar och konsekvent mätning.

Smartling är en sådan plattform, och den här artikeln går igenom vad MT-kvalitet faktiskt är, hur man mäter den och hur man håller den konsekvent när innehållsvolymen växer.

Vad är maskinöversättningskvalitet?

Maskinöversättningskvalitet avser hur exakt och naturligt översatt innehåll återspeglar innebörden av originaltexten. Kvalitetsmått inkluderar noggrannhet, flyt och konsistens.

MT-kvaliteten varierar beroende på språkparet, innehållstypen och hur väl översättningsarbetsflödet är strukturerat kring båda.

Till exempel:

• Marknadsföringsinnehåll som kräver tonanpassning väcker andra kvalitetsförväntningar än teknisk dokumentation som kräver terminologiprecision.
• Ett språkpar med riklig träningsdata ger olika baslinjeutdata än ett med begränsade data.

Vad bestämmer maskinöversättningskvaliteten

Fem faktorer formar om en MT-motor ger användbar effekt för ett visst jobb.

Språkparets komplexitet. Vissa par som engelsk-spanska och engelsk a-franska har årtionden av högkvalitativ träningsdata. Andra har mycket mindre, och MT-produktionskvaliteten återspeglar det gapet.

Innehållstyp. Teknisk dokumentation kräver terminologiprecision. Marknadsföringskopia behöver tonanpassning. Juridiskt innehåll behöver båda, plus bokstavlig trohet. Maskinöversättning, som saknar kapacitet för nyanser, fungerar inte lika för alla tre.

Tillgång till sammanhang. MT-motorer som kan komma åt omgivande segment, dokumentstruktur och visuellt sammanhang ger bättre resultat än motorer som översätter strängar isolerat.

Utbildningsdata Modeller utbildade på domänspecifika och varumärkesspecifika data överträffar motorer för allmänt ändamål för specialiserat innehåll.

Motor- eller modellval. Att förlita sig på generella MT enbart för varje innehållstyp och språkpar kommer inte att ge konsekventa resultat av hög kvalitet. LLM, finjusterade neurala maskinöversättningsmotorer (NMT) och RAG-förstärkta modeller hanterar olika innehållstyper på olika sätt. I stället för att välja MT som standard garanterar du överlägsen översättningskvalitet genom att välja rätt modell för varje jobb.

Viktiga dimensioner av maskinöversättningskvalitet

MT-kvalitet kan hänvisa till olika faktorer, beroende på vem du frågar och vad som gick fel. Dessa fyra dimensioner täcker hela bilden, och vilken som helst av dem, som lämnas ohanterad, blir problemet som definierar projektet.

Noggrannhet

Noggrannhet mäter om översättningen bevarar källans betydelse. En flytande men felaktig översättning är svårare att fånga i granskning än en klumpig men korrekt översättning, vilket gör dessa fel högre risk.

Flytande

Flytande är där MT oftast avslöjar sina brister. Grammatik och ordval är bordsinsatser. Det svårare problemet är registrera: en motor som översätter korrekt men skriver som en manual när innehållet kräver något konversativt, eller vice versa.

Konsistens

Konsistensen bryts tyst och i stor skala. Samma term återges på tre olika sätt över ett produkt-användargränssnitt, en hjälportikel, och en marknadsföringssida urholkar förtroendet hos användarna och skapar sammansatta omarbetningar för teamet.

Kontextmedvetenhet

Kontextmedvetenhet är det som skiljer en motor som översätter ord från en som översätter mening. Könsbestämda pronomen på tyska, en UI-etikett som läses olika beroende på skärmen, eller en fras som är idiomatisk på en marknad och meningslös på en annan kräver att motorn tolkar, inte bara konverterar.

Hur Smartling förstärker konsistensen

Tillämpning av ord listor och återanvändning av översättningsminne (TM) håller godkänd terminologi och tidigare godkänd frasering låsta i alla jobb. När en term har godkänts tillämpar Smartling den automatiskt nästa gång den visas, oavsett om översättningen sker via MT, AI Translation eller AI Human Translation (AIHT).

Smartlings AI Translation Toolkit tar detta vidare. Insättning av AI-ordlistor säkerställer att substitutioner passar strängens sammanhang och är grammatiskt korrekta, snarare än att bara ersätta termen.

Grammatiska skyddsåtgärder är avgörande för språk där en ordlista behöver böjas olika beroende på dess position i en mening. AI-anpassningsbart översättningsminne ökar TM-hävstången i MT-arbetsflöden genom att optimera tillgängliga matchningar, så att tidigare godkända fraseringar fortsätter även när det omgivande innehållet har ändrats.

För innehåll där konsistens betyder mer än terminologi (tonvikt på ton, register eller varumärkesröst) håller Smartling Transcreation Tool transkreationsminnet åtskilt från översättningsminnet. Som ett resultat av detta kommer kreativa anpassningar inte att flöda in i vanliga översättningsarbetsflöden eller införa inkonsekvens där bokstavlig noggrannhet krävs.

Hur maskinöversättningskvaliteten mäts

MT-kvalitetsmätning kombinerar tre metoder. De flesta företagsprogram använder alla tre på olika punkter i arbetsflödet.

Mänsklig utvärdering

Mänsklig utvärdering bygger på utbildade lingvister som granskar översatt innehåll mot objektiva felkategorier. Ramverket Multidimensional Quality Metrics (MQM) är branschstandarden för detta arbete.

Granskare loggar fel efter typ, till exempel noggrannhet, flyt, terminologi, stil och språkkonventioner, och efter svårighetsgrad, till exempel neutral, minor, major eller kritisk. Systemet beräknar ett övergripande kvalitetspoäng baserat på allvarlighetsvikter.

L@@ inguistic Quality Assurance (LQA) effektiviserar mänsklig granskning under MQM-utvärdering. LQA är samplingsbaserat, vilket innebär att team granskar en representativ del av översatt innehåll för att producera en proxy-mätning av övergripande kvalitet snarare än att inspektera varje sträng.

Automatiserade mätvärden

Automatiserade mätvärden som BLEU, COMET och TER jämför MT-utdata mot referensöversättningar algoritmiskt. De körs på några sekunder, skalas över miljontals strängar och ger konsekventa numeriska poäng.

De korrelerar ofullständigt med mänskligt omdöme, varför automatiserade mätvärden fungerar bäst som tidiga varningssignaler snarare än slutliga kvalitetsdomar.

Hybridmätning

Hybridmätning kombinerar mänsklig granskning av samplat innehåll med automatisk poängsättning på hela korpuset. Hybridmetoder är de vanligaste inom företagsproduktion, eftersom de balanserar mätdjupet mot mätkostnaden.

Hur Smartling möjliggör hybridmätning

Smartlings LQA Suite hanterar strukturerad mänsklig utvärdering. Lingvister utvärderar översättningar mot anpassningsbara MQM-kompatibla scheman. LQA tilldelar en svårighetsgrad till varje fel som matas in i en övergripande kvalitetspoäng.

Resultaten visas i LQA-instrumentpanelen efter tidsram, lokal, projekt eller jobb, vilket ger lokaliseringschefer en strukturerad, datadriven bild av var kvaliteten står och var den sjunker.

För team som kör MT i stor skala räcker det inte med enbart provtagning. Agent för uppskattning av språkkvalitet (LQE) utvärderar varje MT-sträng automatiskt och märker varje hög, medelhög eller låg baserat på förutspådd ansträngning efter redigering.

Höga strängar kan kringgå mänsklig granskning helt i ett dynamiskt arbetsflöde; Medelsträngar flaggas för lätt redigering. Granskningsinsatsen går där den behövs.

De två verktygen täcker båda ändarna av mätproblemet: fullkorpussignal på varje MT-sträng och strukturerad mänsklig poäng på samplat innehåll. Båda matas in i Smartling Analytics, vilket ger teamen data för att optimera arbetsflöden, motivera beslut och hålla kvalitetsprogram ansvariga över tid.

Vanliga kvalitetsproblem för maskinöversättning

Fem fellägen visas över företagets MT-program. De flesta av dessa fel är arbetsflödesproblem, inte modellproblem.

Bokstavliga översättningar. Idiomer, figurativt språk, och kulturellt specifik frasering återger ord för ord istället för efter mening. En " home run " blir en basebollreferens på ett språk där baseboll inte har någon kulturell vikt.

Terminologi inkonsekvens. Samma varumärkesterm visas som tre olika översättningar på samma webbplats. Ett produktnamn översätts på en sida och lämnas på engelska på en annan.

Grammatikfel. Könsavtal, verbtid och ordordning kommer ut fel på språk med rikare morfologi än källan. Dessa fel inträffar när MT-motorer saknar sammanhang om ämnet eller objektet för en mening.

Kontextfel. Pronomen löser sig till fel antecedent. Homografer får fel mening. Ett ord som betyder en sak i ett juridiskt dokument översätts som om det betyder något annat i vardaglig mening.

Kulturella missförhållanden. Formalitetsnivåer, hedersbetygelser och kulturella referenser saknar det register som publiken förväntar sig.

Maskinöversättning kontra mänsklig översättningskvalitet

Maskinöversättning och mänsklig översättning är inte utbytbara. De serverar olika innehåll med olika avvägningar.

Inget av tillvägagångssättet är universellt bättre. Den rätta frågan för företagsprogram är vilket innehåll som hör till vilket spår, och hur man dirigerar det automatiskt när volymen växer.

Smartling AutoSelect löser routningsproblemet genom att utvärdera innehåll vid översättningstillfället och skicka det till den bäst passande MT-motorn, LLM eller det mänskliga arbetsflödet. Om den valda motorn inte kan producera en kvalitetsöversättning försöker AutoSelect igen med det näst bästa alternativet och återgår sedan till ett mänskligt arbetsflödessteg om det behövs.

För team som vill ha ännu mer kontroll stöder AutoSelect specialutbildade motorer i rotationen tillsammans med vanliga MT-leverantörer. Det betyder att domänspecifikt innehåll, till exempel juridiskt, medicinskt eller mycket tekniskt, kan dirigeras till en motor som är byggd för det, medan allmänt innehåll tar standardvägen. Resultatet är ett routinglager som anpassar sig till innehållets komplexitet snarare än att tillämpa en enda motor över allt.

Hur man förbättrar maskinöversättningskvaliteten

MT-kvaliteten förbättras genom fem taktiker, var och en adresserar en annan del av arbetsflödet.

Använd ordlistor. Godkänd terminologi håller konsistens mellan strängar och över jobb. Utan en ordlista återger samma varumärkesterm tre olika sätt inom samma innehåll.

Ge sammanhang. Metadata på segmentnivå, visuellt sammanhang och omgivande innehåll förbättrar MT-noggrannheten. Motorer som översätter strängar isolerat saknar den information de behöver för att lösa tvetydighet korrekt.

Använd hybridarbetsflöden. Machine Translation Post-Editing (MTPE) kopplar ihop MT-utdata med mänsklig granskning. MTPE använder mänskliga lingvister för att rensa upp rå MT-produktion. Innan granskningssteget kontrollerar Smartlings AI Post-Editing Agent automatiskt grammatik, ton och semantisk noggrannhet - så lingvisten korrigerar det som återstår snarare än att bygga om från grunden.

Standardisera processer. Team som dirigerar innehåll genom konsekventa arbetsflöden med samma ordlista, TM och granskningssteg får jämn kvalitet. Team som hanterar varje projekt på olika sätt får kvalitet som återspeglar inkonsekvensen.

Övervaka prestanda. LQA-prover, LQE-poäng och feltrendrapportering visar var kvaliteten glider innan det blir ett kundproblem. Utan övervakning uppstår kvalitetsproblem först efter att någon flaggar dem externt.

Hur Smartling förbättrar MT-kvaliteten i praktiken

Smartlings AI Post-Editing Agent körs automatiskt på MT-utdata innan den når en mänsklig granskare, kontrollerar grammatik, ton och semantisk noggrannhet och berikar översättningar med dina språkliga tillgångar så att utdata kommer närmare publicerbara.

Lingvisten korrigerar det som återstår snarare än att bygga om från grunden. Kombinerat med LQE-agenten (Language Quality Estimation), som märker varje MT-sträng Hög, Medium eller Låg baserat på förutspådd ansträngning efter redigering.

Som ett resultat kan team dirigera strängar som behöver uppmärksamhet för att granska och publicera strängar med hög konfidens direkt, utan att behandla varje sträng på samma sätt oavsett faktisk risk.

Hur man upprätthåller kvalitet i skala

Att skala MT-kvalitet är ett annat problem än att förbättra en enda översättning. I stor skala blir kvalitet en funktion av hur pålitligt arbetsflödet tillämpar kvalitetskontroller över tusentals eller miljoner strängar. Fyra principer avgör om denna tillförlitlighet gäller.

Arbetsflödesstandardisering. Samma innehållstyp dirigerar genom samma arbetsflöde varje gång. Marknadsföringsinnehåll rör sig genom marknadsföringsarbetsflödet. Supportinnehåll flyttas genom supportarbetsflödet. Kvaliteten stannar beroende på vem som äger ett visst projekt.

Automatisering Innehållet flyttas från källsystem till översättningsarbetsflöden utan manuella överlåtelser. Godkännanden dirigeras automatiskt. Översatt innehåll levereras tillbaka till källsystemet utan export-importcykler. När en sträng ändras fångar arbetsflödet den, inte en projektledare som kontrollerar ett kalkylblad.

Centraliserad kvalitetsspårning. LQA-poäng, LQE-fördelningar och feltrender finns på ett ställe. Teamen upptäcker inkonsekvenser mellan språk och innehållstyper innan de sammanfogas över hundratals ytterligare strängar.

Kontinuerlig förbättring. Ordlistor, TM och snabbmallar uppdateras när nya termer och mönster dyker upp. Kvalitetsbaslinjen stiger med tiden istället för att förbli platt eller försämras när innehållsvolymen växer.

Utan att alla fyra av ovanstående principer fungerar tillsammans blir kvalitet i skala ett genomsnittligt problem - tillräckligt bra i aggregerat men brutet i de specifika fall som betyder mest.

Personio illustrerar hur det skiftet ser ut i praktiken. HR-mjukvaruföretaget kopierade manuellt källinnehåll från Zendesk, mailade filer till en översättningsbyrå och klistrade tillbaka översättningar. Denna process fungerade med låg volym men kunde inte skala till ytterligare språk utan att lägga till antal anställda.

Efter att ha centraliserat sitt lokaliseringsprogram på Smartling och infört maskinöversättning för supportinnehåll förväntar sig Personios innehållsutbildningsteam att spara 40% av sin nuvarande översättningsbudget och minska den interna granskningstiden med minst hälften. MT hanterar det standardiserade hjälpinnehållet med hög volym, medan human review hanterar det som faktiskt behöver det. Personio återinvesterar nu budgeten till språk som företaget inte tidigare hade råd att stödja.

Risker för dålig maskinöversättningskvalitet

När team inte hanterar MT-kvalitet visas nedströms påverkan på fyra förutsägbara platser.

Varumärkesinkonsekvens. Produktnamn, taglines och kärnvarumärkesspråk varierar mellan olika marknader. Kunderna ser olika versioner av samma märke beroende på vilken webbplats de landar på.

Kundförvirring. Produktbeskrivningar, supportartiklar och kassaflöden ger oklara instruktioner på målspråk. Kunder överger, missbrukar eller eskalerar.

Frågor om efterlevnad. Reglerat innehåll i juridiska, medicinska och finansiella kategorier medför risk när översättningar saknar önskat språk eller medför felaktigheter. Vissa branscher behandlar översättningsfel som överträdelser av regelefterlevnaden.

Ökad omarbetning. Kvalitetsproblem dyker upp efter publicering och kräver manuell rengöring. Kostnaden för att fixa innehåll efter det faktum överstiger kostnaden för att översätta det korrekt första gången.

Vad händer utan kvalitetssystem

Lokaliseringsprogram som fungerar utan strukturerade kvalitetssystem löper in i samma fyra mönster.

Inkonsekventa utgångar. Terminologi, ton och frasering varierar beroende på innehåll eftersom inga delade resurser eller regler håller dem stadiga.

Manuella QA-förseningar. Kvalitet blir beroende av att enskilda granskare upptäcker problem en i taget. QA blir flaskhalsen som resten av arbetsflödet skulle eliminera.

Brist på synlighet. Ingen svarar på grundläggande frågor om kvalitet, inklusive var den är stark, var den driver och vilka språk eller innehållstyper som bär störst risk.

Dålig skalbarhet. Att lägga till språk och innehållsvolym multiplicerar koordinationskostnaderna istället för att utnyttja återanvändbara resurser. Varje ny lokal känns lika utmanande som den första.

Maskinöversättningskvalitet är ett systemproblem

MT-kvaliteten varierar av naturen. Motorval, innehållstyp, språkpar och arbetsflödesdesign formar alla utdata, och ingen enskild taktik producerar konsekvent kvalitet på egen hand.

Framgångsrika team förlitar sig på ett system, snarare än MT isolerat. Inom det systemet tillämpar strukturerade arbetsflöden konsekventa kvalitetskontroller för varje jobb. Automatisering flyttar innehåll genom dessa arbetsflöden utan manuella överlämningar. Och kvalitetsmätning visar var produktionen är stark och var den driver.

De flesta företagsteam har delar av denna infrastruktur, och det är där kvalitetsproblem gömmer sig. Smartling minskar klyftan genom att kombinera strukturerade arbetsflöden, automatisering och kvalitetsmätning i en plattform, vilket ger team en repeterbar väg till MT-kvalitet som skalas med innehållsvolym snarare än antal anställda.

Om du vill se hur Smartling samlar allt på en plattform, boka en demo.