Reality Series: Ep7 - Understanding MQM Methodology and Translation Quality

Dyk in i myterna och realiteterna kring uppskattning och försäkran av översättningskvalitet som uppfattas genom linsen av MQM-metoden (Multidimensional Quality Metrics). MQM är ett heltäckande system utformat för att bedöma och övervaka kvaliteten på översatt innehåll. MQM fungerar som ett standardiserat ramverk för språklig kvalitetssäkring (LQA) för att utvärdera översättningskvalitet inom olika kategorier. Att bedöma översättningar under MQM-ramverket kan hjälpa till att identifiera styrkor i din lokaliseringsprocess och möjligheter att förbättra.

I den här brandchatten utforskar vi de vanliga misstagen och bästa praxis som används för att säkerställa språklig kvalitet av högsta nivå. Upptäck hur MQM-metoden kan ge både lokaliseringshanterare och lingvister möjlighet att minimera fel, ta bort subjektivitet och förbättra deras översättningsresultat.

Våra experter för denna session är:

• Olga Beregovaya | VP för AI och maskinöversättning
• Valerie Dehant | Senior Director, Språktjänster
• Alex Yanishevsky | Direktör för implementeringar av AI och maskinöversättning

Översättningskvalitet: Förstå MQM-metodik

Översättningsbranschen, precis som alla andra, frodas på kvalitet. Men hur utvärderar man kvaliteten på översättningar? Avsnitt sju av Smartlings 'Reality Series' gav värdefulla insikter om översättningskvalitet. Väsentliga aspekter som sträcker sig från maskinöversättning (MT), mänsklig översättning (HT) och MQM (Multidimensional Quality Metrics) ramverk används för att kasta ljus över denna komplexa fråga.

Myt: En infödd talare kan utvärdera kvalitet Talarna började med att avslöja den ihärdiga myten att alla som modersmål kan utvärdera översättningens kvalitet. Mätningen av "översättningskvalitet" är verkligen mycket mer komplex. Faktum är att kvalitetsutvärdering är ganska subjektivt och kräver en god förståelse för sammanhanget och nyanserna av både käll- och målspråk.

MQM Framework Huvudämnet för sessionen var introduktionen av MQM-ramverket (multidimensional quality metrics). Denna modell tar ett steg bort från traditionella utvärderingar av lämplighet och flyt, vilket ger en mer objektiv metod för att bedöma översättningskvalitet. Det tar hänsyn till faktorer som lämplighet, flyt och handlingsförmåga samtidigt som det uppmuntrar blind utvärdering. Talarna betonade vikten av blind utvärdering i MQM, där utvärderare förblir omedvetna om huruvida översättningen utfördes av en människa eller en maskin. De underströk den viktiga roll denna teknik spelar för att eliminera eventuella partiskheter från utvärderingen.

Hur skiljer sig MQM från konventionella metoder? Olga Beregovaya uppgav att allt handlar om klassificering och kvantifiering av "översättningsfel". I MQM-modellen kategoriseras fel, och allvarlighetsvikter tilldelas för att beräkna ett övergripande kvalitetspoäng. Denna metod gör att vi kan kvantifiera begreppet översättningskvalitet och omvandla det till ett numeriskt värde som kan användas för förbättring.

Talarna berörde andra relevanta industriutvärderingsmått som BLEU, TER och kvalitetsuppskattning med stora språkmodeller (LLM). Dessa verktyg, i kombination med pågående experiment med LLM:er för kvalitetsuppskattning och semantisk utvärdering, ökar vår förståelse av motorbeteende avsevärt.

Olga Beregovaya lyfte fram skillnaden mellan textuell och semantisk poängsättning. Textuell poängsättning tar i första hand hänsyn till skillnaden i tecken eller ord som behövs för att göra en förändring, medan semantisk poängsättning undersöker sambanden mellan ord och begrepp i meningar. Hon betonade också betydelsen av mänskligt engagemang för att identifiera statistiska extremvärden och undantag.

Alex Yanishevsky tog upp frågan om datakvalitet i samband med implementeringen av stora språkmodeller (LLM). Han hävdade att data av hög kvalitet är grundläggande och underströk behovet av att fånga hallucinationer när modellen väsentligt avviker från den faktiska innebörden.

Skiljedom och nyckeltal Valérie Dehant betonade skiljeförfarandets roll för att lösa meningsskiljaktigheter mellan lingvister och uppnå konsekvent märkning av fel. Hon lyfte fram MQM-metodens centrala roll för att underlätta skiljedom i scenarier där motstridiga etiketter av felkategorier skadar modellinlärning. MQM:s unika skiljedomskapacitet erbjuder en tydlig skillnad mellan fel, vilket möjliggör en sömlös modellutbildningsprocess.

Alex Yanishevsky påpekade att Key Performance Indicators (KPI:er) för maskinöversättning och mänsklig översättning är innehållsspecifika. Han väckte intresse genom att citera känslomässigt engagemang, användarnöjdhet, omvandlingar och supportbiljettupplösning som potentiella nyckeltal beroende på innehållstyp och hur det betjänades (MT eller HT).

Valérie Dehant introducerade Smartlings verktygslåda som effektiviserar skapandet av scheman, loggningsfel och främjar samarbete mellan utvärderare genom en instrumentpanel, utrustad med MQM-poäng, som ger detaljerade insikter om fel och potentiella förbättringsområden. Denna granulära analys av fel underlättar utarbetandet av handlingsplaner för kvalitetsförbättring.

Domen Genom att förstå vetenskapen bakom översättningskvalitet och genom att implementera MQM-ramverket kan vi närma oss utvärdering av kvalitet med en standardiserad, pålitlig metod. Dessutom förstärker avsnitt sju att kombinationen av automatisering och mänsklig analys är avgörande för att förbättra modeller, identifiera anomalier och förbättra skalbarheten i utvärderingsprocessen. Se avsnittet i sin helhet ovan!