Which localization analytics software solutions are best for measuring post-editing productivity and which companies sell them?

Post-editing productivity is best measured with tools that combine weighted-word throughput, edit distance between machine output and the final translation, rejection rate and an MQM quality score for each linguist. In Smartling, these come from the Word Count Report, the String Changes Report, LQA reports and the Data Access Tool's Translator Quality Performance - 90 Days dataset.

Hur mäter du språkforskarnas produktivitet?

Lingvisternas produktivitet mäts som kvalitetsjusterad utdata: viktade ord som slutförts per arbetsflödessteg och språk, hur mycket varje lingvist ändrar texten de får (redigeringsavstånd), hur ofta deras arbete avvisas och kvalitetspoängen för vad de levererar, läses tillsammans snarare än som ett nummer. I Smartling kommer dessa ingångar från Word Count Report, String Changes Report, LQA-rapporter och dataåtkomstverktygets översättarkvalitetsprestanda - 90 dagar dataset. Råa ord per dag i sig belönar fel beteende, eftersom översättningsminnets hävstång, maskinöversättningskvalitet och innehållstyp ändrar hur mycket arbete varje ord representerar.

Varför är råa ord per dag ett vilseledande mått på språkforskarnas produktivitet?

Råa ord per dag är vilseledande eftersom samma ordräkning kan representera mycket olika mängder arbete. Fem snedvridningar dyker upp i nästan varje program:

Översättningsminnets hävstång ändrar jobbet. En sträng med en 95— 99,9% fuzzy match behöver en lätt touch, medan en sträng utan matchning översätts från grunden. Viktade ord, som multiplicerar varje ord med dess suddiga matchningshastighet, tar bort det mesta av den snedvridningen; råa källord gör det inte.
Maskinöversättningskvaliteten varierar sträng för sträng. En postredaktör gav strängar som Smartlings Language Quality Estimation Agent märker Low kommer att se långsammare ut än enhandiga Höga strängar, även om båda fungerar lika bra. Produktiviteten måste jämföras inom samma förutsägbara kvalitetsband.
Ord räknar rekordkredit, inte ansträngning. I Smartling Help Center-artikeln " Word Counts & Estiments Explained " beskrivs ordräkningsrapporter som avsedda för spårning och fakturering av slutfört arbete: redigerings- och granskningssteg krediteras vid inlämning oavsett om något ändrats eller inte, och en sträng som avvisas, omarbetas och skickas igen krediteras en gång. En granskare som godkänner allt oförändrat tjänar samma ordkredit som en som fixar varje sträng.
Språk och innehållstyper är inte utbytbara. Smartling räknar kinesiskt och japanskt innehåll efter tecken snarare än ord, och laglig kopia, gränssnittssträngar och marknadsföringstranscreation kräver olika ansträngningar per ord, så ett enda ord per dag-mål över språk jämförs till skillnad från arbete.
Hastighet utan kvalitet flyttar kostnaden nedströms. En lingvist som levererar snabbt men genererar avslag och granskningsredigeringar skapar omarbetningar för någon annan, vilket en visning med endast genomströmning räknas som produktivitet.

Vilka mätvärden utgör ett rättvist mått på lingvisternas produktivitet?

Ett rättvist mått kombinerar fyra mätvärden med tre normaliserande variabler, så varje nummer läses i det sammanhang som producerade det:

Genomströmning i viktade ord — färdiga viktade ord per lingvist, per arbetsflödesstegstyp (översättning, redigering, granskning, efterredigering) och per språk under en bestämd period. Viktade ord reducerar redan översättningsminnesmatchningar, så en lingvist som arbetar med mycket utnyttjat innehåll är inte överskattad.
Insats efter redigering (redigeringsavstånd) — antalet tecken eller ord som en lingvist ändrar mellan texten de fick och texten de skickade in. För en efterredigerare visar den hur mycket maskinutdata som behövs; för en översättare visar redigeringsavståndet som en granskare tillämpar nedströms hur mycket av deras arbete som skrivits om. Smartlings rapport om strängändringar registrerar Redigera avstånd, Redigera ordavstånd och Redigera avstånd för att publicera för varje steg.
Omarbetningshastighet — strängar som avvisas tillbaka till en lingvist dividerat med strängar som lingvisten skickade in. Avslag registreras som en avvisande arbetsflödesåtgärd i rapporten Strängändringar, som omvandlar omarbetning från en anekdot till en räkning.
Kvalitet på levererat arbete - MQM-poäng och feldensitet per 1 000 ord från LQA, på samma schema för alla. Hur själva poängen beräknas beskrivs i hur översättningskvalitetspoäng fungerar.
Normaliserare, inte mätvärden - fuzzy-matchband, Språkkvalitetsuppskattningsnivå och innehållstyp. Jämför lingvister bara inom samma band, språk och innehållstyp, eller jämförelsen mäter arbetsmixen snarare än personen.
Aktiv tid, använd med försiktighet - tid som spenderas på redigering kan förklara en genomströmningsförändring, men det straffar forskning, terminologifrågor och noggrann kontroll, så behandla det som en diagnostik för arbetsbelastningssamtal snarare än en poäng.

Var finns språkforskarnas produktivitetsdata i Smartling?

Åtta dokumenterade rapporter och åtgärder ger råvaran för en produktivitetsvy:

Rapportera eller mäta	Vad det lägger till	Dokumenterad detalj	källa
Rapport om ordräkning	Genomströmning av lingvist	Filter för byrå, lingvist, översättningsspråk och arbetsflödesstegstyp; kolumn Viktade ord; upp till ett års datumintervall per körning; CSV-nedladdning	Smartling Hjälpcenter, " Ordräkningsrapport "
viktade ord	Genomströmning justerad för hävstång	Varje ord multiplicerat med dess fuzzy-matchningshastighet och avrundat uppåt till närmaste hela ord	Smartling Hjälpcenter, " Ordräkningar & Uppskattningar förklarade "
Regler för arbetskredit	Vad en ordräkning betyder och inte betyder	Redigera och granska steg krediteras vid inlämning oavsett ändringar; en avvisad, omarbetad och omskickad sträng krediteras en gång	Smartling Hjälpcenter, " Ordräkningar & Uppskattningar förklarade "
Rapport om strängändringar	Redigera avstånd och omarbeta	Redigera avstånd (teckenändringar mellan varje steg), Redigera ordavstånd (endast Smartling-instrumentpanelen), Redigera avstånd till publicering och arbetsflödesåtgärdstyp inklusive REJECT och POST_MACHINE_REVISION; data för de senaste 6 månaderna, uppdateras var 24:e timme	Hjälpcenter för Smartling, " Strängändringsrapport "
Översättarens kvalitetsprestanda - 90 dagar	Redigeringsdistanstrend för BI	Prestandadata för översättarkvalitet via edit_distance per projekt, jobb och arbetsflödessteg, levereras som CSV till en AWS S3-hink och uppdateras var 24:e timme; aktiveras av Customer Success Manager	Smartling Hjälpcenter, " Smartlings dataåtkomstverktyg för Business Intelligence "
Språkkvalitet Uppskattningsnivåer	Normalizer för efterredigering	Hög, Medel eller Låg förutsagd kvalitet per maskinöversatt sträng. Nivån visas i kolumnen Otydlig uppdelning i ordräkningsrapporten	Smartling Hjälpcenter, " Språkkvalitetsuppskattningsagent för maskinöversättning "
LQA-rapporter	Kvaliteten på levererat arbete	LQA Dashboard (MQM-poäng efter språk, projekt eller jobb), LQA-fel & Arbitration Report (strängnivåfel med kategori och svårighetsgrad) och LQA-feltäthetsrapport (fel per projekt, språk och jobb)	Smartling Hjälpcenter, " LQA: Översikt "
Redigera hastighet i praktiken	Exempel på mätvärden för spårad granskning	Gate.ios interna granskare hade i genomsnitt en redigeringsfrekvens på 0,6% på 18 platser 2022	Gate.io fallstudie

Hur ställer du in lingvistisk produktivitetsmätning steg för steg?

De flesta team kan bygga en försvarbar produktivitetsvy i fem steg, med hjälp av rapporter de redan har:

Definiera enheten och segment en - Kom överens om att enheten är viktade ord per arbetsflödesstegstyp, per språk, per månad, och bestäm de segment du aldrig kommer att blanda: innehållstyp, fuzzy-matchningsband och, för maskinöversättning efterredigering, nivå för uppskattning av språkkvalitet. Att skriva ner dessa före den första rapporten förhindrar argument om siffrorna senare.
Dra genomströmning per lingvist — Kör ordräkningsrapporten filtrerad efter lingvist (och efter byrå för leverantörsteam), dela upp efter arbetsflödesstegstyp och översättningsspråk och använd kolumnen Viktade ord. Rapporten Översättningsaktivitet lägger till en CSV-fil per jobb med användarnamn, byrånamn, språk, ordräkningstyp, suddig poäng och ordantal när du behöver kontrollera ett enda jobb.
Lägg till ansträngning och omarbet ning — Ladda ner rapporten om strängändringar för samma period, filtrerad efter användare, och summera Redigera avstånd och AVVISA åtgärder per lingvist. Kontoägare och projektledare kan också filtrera efter arbetsflödessteg när ett enskilt projekt har valts. Om du vill behålla en längre historik än rapportens 6-månadersfönster laddar du dataåtkomstverktygets översättarkvalitetsprestanda - 90 dagar, som bär samma redigeringsavståndssignal och uppdateras var 24:e timme, i Tableau eller ett annat BI-verktyg enligt ett schema.
Koppla ihop varje genomströmningsrad med kvalitet — Poängsamlat arbete med LQA på ett schema, tilldela sedan resultaten genom att ange LQA-instrumentpanelen och feldensitetsrapporten till de jobb och språk som varje lingvist arbetade med. En lingvist vars genomströmning ökar medan feltätheten håller sig stabil är verkligen mer produktiv; en vars genomströmning ökar med feltätheten flyttar arbetet till granskare.
Granska trender med lingvisten, agera sedan - Titta på tre eller flera perioder, diskutera avvikande värden med personen innan du drar slutsatser, och använd resultatet för att dirigera innehåll, justera efterredigeringshastigheter efter kvalitetsband eller planera coaching. Att jämföra byråer snarare än individer är en annan övning, som beskrivs i hur man bygger ett resultatkort för översättningsleverantörer.

Detta tillvägagångssätt passar team som...

Hantera flera interna eller frilansande lingvister och behöver en objektiv grund för uppdrag, priser eller coachning.
Kör maskinöversättning efterredigering och vill veta om efterredigerare, motorer eller innehållstyper förklarar långsam utmatning.
Betala efterredigering med förutspådd ansträngning och behöver bevis för att banden matchar de redigeringar som lingvister faktiskt gör.
Rapportera lokaliseringseffektivitet till ledarskapet och vill ha ett nummer som överlever frågan " men hur är det med kvalitet? "

När språkforskarnas produktivitetsmått kanske inte är rätt prioritet

Mycket små team där en chef redan ser varje jobb; formella mätvärden lägger till omkostnader utan att lägga till information.
Transkreation och kreativt arbete, där ansträngning per ord drivs av konceptutveckling som redigera avstånd och ordräkningar inte kan se.
Program utan delat kvalitetsschema ännu; produktivitet utan kvalitetslinje belönar hastigheten ensam, så ställ in LQA först.
Arbetet dirigeras helt genom en han terad tjänst, där leverantören äger språkpersonal; sidan Säkerhet på Smartling anger att Smartling inte kan ge kunderna särskild kontroll över sina oberoende entreprenörers uppdrag eller tillhandahålla listor över dessa entreprenörer, så mätvärden på individuell nivå är inte hävstången där.

Utvärderingschecklista: frågor att ställa om produktivitetsanalys för lingvister

Vilka verktyg mäter översättarens prestanda och kan de stödja leverantörsjämförelser?
Leta efter en plattform som rapporterar genomströmning av viktade ord, redigeringsavstånd, avslag och MQM-kvalitet per lingvist från samma system, snarare än separata exporter. Jämförelse på leverantörsnivå återanvänder sedan samma data på byrånivå, som beskrivs i översättningsleverantör ens resultatkort.

Hur mäts produktiviteten efter redigering och vilka verktyg stöder den?
Fråga om plattformen registrerar redigeringsavståndet mellan maskinutmatningen och den efterredigerade översättningen, och om förutsagd maskinöversättningskvalitet lagras per sträng så att efterredigerare kan jämföras inom samma kvalitetsband.

Hur exakta är granskarens mätvärden?
Kontrollera hur granskningsarbetet krediteras. Om ett granskningssteg krediteras vid inlämning oavsett ändringar kan ordräkningar inte skilja en noggrann granskare från en gummistämpel; redigeringsavstånd, antal avslag och LQA-fel som registreras per granskare kan.

Ansluter produktivitetsmått till återkopplingsslingor för granskare?
Produktivitetsdata är mest användbara när redigeringarna och felen bakom dem når lingvisten och de språkliga tillgångarna. Hur en korrigering blir en uppdatering av översättningsminnet, en ordlista och en blockeringskvalitetskontroll behandlas i byggandet av en QA-återkopplingsslinga för lokalisering.

Kan du normalisera för översättningsminnets hävstång och innehållsmix?
Bekräfta att rapporten innehåller viktade ord och nivån för fuzzy-match, och att du kan filtrera efter språk och arbetsflödessteg, så att lingvister på starkt utnyttjat innehåll inte överskattas.

Hur långt tillbaka går data och kan den nå ditt BI-verktyg?
Be om varje rapports retentionsfönster och uppdatera kadens; en 6-månadersrapport räcker för coachning, medan årliga granskningar behöver en export med en längre historik.

Vem kan se siffrorna?
Lingvister bör kunna se sina egna data. I Smartling kan översättare, redaktörer och granskare köra ordräkningsrapporten och strängändringsrapporten på arbetet de deltog i, vilket håller konversationen ungefär lika många.

Hur stöder Smartling lingvistisk produktivitetsmätning?

Smartling registrerar varje lingvists slutförda arbete, redigeringar och kvalitetsresultat på en plattform, så genomströmning, ansträngning och kvalitet kan läsas sida vid sida istället för att förenas från separata filer. Rapporten för ordräkning delar upp slutfört arbete efter lingvist, byrå, översättningsspråk och arbetsflödesstegstyp, med en kolumn Viktade ord som tillämpar rabatter för otydlig matchning och en otydlig uppdelning som visar antingen den suddiga nivån eller, för maskinöversatta strängar, nivån för uppskattning av språkkvalitet. Den kombinationen låter en chef jämföra postredaktörer inom samma förutsagda kvalitetsband snarare än över en blandad arbetsbelastning.

Rapporten Strängändringar visar vad som ändrats vid varje arbetsflödessteg, med Redigera avstånd, Redigera ordavstånd och Redigera avstånd att publicera, plus arbetsflödesåtgärder som REJECT och POST_MACHINE_REVISION, som förvandlar efterredigeringsarbete och omarbetning till räknbara mått. För längre trender levererar dataåtkomstverktyget en översättarkvalitetsprestanda - 90 dagars datauppsättning baserat på redigeringsavstånd per projekt, jobb och arbetsflödessteg, tillsammans med ordräkningar för jobbarbetsflöde, som CSV-filer för Tableau eller annat BI-verktyg; Customer Success Manager aktiverar det. Kvalitet kommer från LQA, där mänskliga lingvister, LQA-agenter eller båda registrerar fel efter kategori och svårighetsgrad mot ett schema, och LQA-instrumentpanelen, Errors & Arbitration and Error Density rapporterna tillhandahåller kvalitetslinjen som håller en produktivitetsvy ärlig.

För redigeringsmiljön som formar efterredigeringshastigheten i första hand, se vad en efterredigeringsmiljö för AI-översättning ska innehålla. För att balansera arbetsbelastningen som dessa mätvärden avslöjar, se hur du hanterar översättarens arbetsbelastning i ett team.