Ditt kvalitetspoäng sa grönt, men marknaden sa något annat: Insikter från Smartling- och OpenAI-sessionen på LocWorld55 Dublin

Ett kvalitetspoäng berättar om översättningen klarat en definierad kontroll. Den räknar fel, kontrollerar trösklar och tittar bakåt. Verksamheten, i alla fall, frågar något annat: är vi redo att skicka detta till den marknaden?

Den skillnaden är den fellinje som löper genom de flesta företagslokaliseringsprogram just nu, och det var det centrala argumentet vid en av LocWorld55 Dublins mest besökta sessioner. Rummet var fullsatt eftersom artificiell intelligens (AI) har gjort frakt snabbare, men utmaningen nu är att se till att tillförlitlighet, utvärdering och distributionsmetoder håller jämna steg. När allt kommer omkring är det där luckor kan kosta team riktiga pengar och marknadens trovärdighet.

På LocWorld55 presenterade Kathy Mok, chef för lokalisering på OpenAI, och Olga Beregovaya, Smartlings VP för AI, " Would You Ship This? Omformulera översättningskvalitet för AI-eran. "

Olga Beregovaya (Smartling) och Kathy Mok (OpenAI) på scen på LocWorld55 Dublin.

För dem som inte var i rummet, här är de idéer som är värda att ta tillbaka till ditt program:

När instrumentpanelen ligger (typ av)

Kathy öppnade med ett scenario som de flesta lokaliseringschefer kommer att känna igen omedelbart. Du har lanserat 100 språk snabbt. MQM-resultatkortet (Multidimensional Quality Metrics) är grönt, Service Level Agreements (SLA) uppfylls och alla tre språken har passerat sina tröskelvärden. Sedan börjar feedbacken komma in: Japansk marknadsföring säger att den kreativa tillgången inte är tillräckligt bra, en spansktalande intressent flaggar uppmaningen att agera (CTA) som låg kvalitet, och en tillväxtproduktchef börjar tyst leta efter sin egen franska byrå.

Den obekväma delen är att instrumentbrädan fortfarande säger grönt. MQM-poängen är inte problemet här, snarare svarar det på frågan som den var utformad för att besvara: om översättningen klarade en definierad språklig kontroll. Verksamheten frågar om denna upplevelse är redo för en riktig marknad, med riktiga användare som fattar verkliga beslut baserat på vad de läser, och dessa två frågor är inte samma sak. Att behandla dem som likvärdiga är exakt hur tekniskt korrekta översättningar ger kommersiellt trasiga upplevelser.

Kvalitetsmodeller byggda för en långsammare värld

Detta betyder inte att traditionell kvalitetsmätning är fel. Det betyder att den var utformad för en takt som inte längre existerar. Varumärken levererar nu innehåll globalt med en daglig takt, AI-first translation har blivit den operativa normen, och leverantörspartners omskolar arbetsflöden i realtid för att hålla jämna steg. I den miljön blir felräkning efter leverans i bästa fall en eftersläpande indikator. När en granskning av Linguistic Quality Assurance (LQA) bekräftar att något var fel finns innehållet ofta redan på marknaden.

Den djupare frågan är strukturell. Traditionella kvalitetsmodeller ber granskare att hitta defekter, men de var inte utformade för att fråga om en viss defekt är viktig, för vem den är viktig, på vilken yta, på vilken marknad och på vilken risknivå. Det detaljerade feltaggarbetet har sin plats, men det förutsäger inte på ett tillförlitligt sätt om en kampanj kommer att konverteras, om ett säkerhetsmeddelande kommer att lita på eller om ett kassaflöde kommer att få någon att överge transaktionen helt.

Introduktion av fraktbarhet

Denna förändring kallas fraktbarhet: praxis att behandla kvalitetsgranskning inte som en bakåtblickande defektrevision, utan som ett framåtblickande beslut om lanseringsberedskap. Kärnfrågan ändras från " hur många fel hittade vi? " till " skulle en lokal användare lita på detta tillräckligt för att fortsätta? " Det låter som en liten förändring i formuleringen, men de operativa konsekvenserna är betydande.

Inramat på detta sätt ändras granskarens jobb helt. Istället för att kontrollera språket mot en taxonomi tar granskarna lokalt ägande av ett fraktbeslut genom att utvärdera fyra saker:

1. Betydelse (är den ursprungliga avsikten intakt?)
2. Marknadspassning (är detta lämpligt för denna specifika publik och sammanhang?)
3. Risk (vilseleder det, blockerar en åtgärd eller urholkar förtroendet?)
4. Åtgärd (vad som händer härnäst: skicka den, förbättra den efter lanseringen eller håll den kvar för en fix innan den släpps)

Den sista dimensionen spelar roll, för utan en tydlig, handlingsbar produktion blir fraktbarhet ett annat abstrakt kvalitetsramverk som inte förändrar någonting i praktiken. De tre fraktsamtalen är utformade för att förhindra exakt det: fixa före leverans, skicka sedan förbättra eller redo att skickas. Var och en berättar för ett team vad de ska göra, inte bara hur översättningen fick poäng.

Tröskeln rör sig med marknaden

Ett av de mer praktiskt användbara argumenten från sessionen är att fraktbarhet inte är en universell standard. Det är en riskkalibrerad sådan, och rätt risknivå beror helt på vad som översätts och för vem det är avsett. En hjälpcenterartikel med låg synlighet, en betald förvärvsrubrik, en säkerhetsinstruktion, och en prissättningsskärm representerar fyra mycket olika riskprofiler. Att tillämpa samma granskningsdjup på dem alla innebär antingen att överinvestera på de platser som inte motiverar det eller underinvestera i de som gör det.

Marknadspersoner flyttar också tröskeln på meningsfulla sätt. Till exempel kräver AI-försiktiga målgrupper högre förtroendesignaler och mer medveten ton, medan verktyg först prioriterar uppgifternas tydlighet framför stilistisk polering, och kvalitetskänsliga platser har högre förväntningar på nyanser och register. De lokaliseringsbeslut som fungerar bra för en målgruppsprofil kan aktivt underprestera för en annan, varför lokalt ägande av leveranssamtalet är lika viktigt som att ha ramverket i första hand.

Hur Smartling och OpenAI byggde det i praktiken

Olga förde den andra halvan av sessionen in i den operativa verkligheten av vad som faktiskt krävs för att köra ett program på detta sätt. Partnerskapet Smartling och OpenAI startade på 20 platser, utvidgades till 60+ och fungerar nu med full täckning över ChatGPT och OpenAIs fullständiga produktsvit. Den skalan, som upprätthålls i den hastigheten, är det verkliga stresstestet för alla kvalitetsramar.

Översättarens roll måste omprövas nästan helt. Inom fraktbarhetsmodellen bearbetar en lingvist inte strängar i en kö. Istället fungerar de mer som en produktchef i landet, läser hela sammanhanget utan förhandsbedömning, bedömer det mot marknadspersona och riskramar och fattar sedan och registrerar ett tydligt beslut. Dessa beslut matas tillbaka till systemet som signaler som informerar om vad som är automatiserbart, där mänsklig granskning fortfarande flyttar resultat och vad som behöver förändras i det underliggande arbetsflödet eller modellbeteendet över tid.

Smartling byggde en specialdesignad arbetsyta för att stödja denna modell, en som är minimal, vanligt språk och strukturerad kring de tre fraktsamtalen snarare än traditionell felkategorisering. Designen återspeglar filosofin direkt: inga komplexa poängnät, ingen detaljerad defektmärkning. Gränssnittet ber granskare att läsa i fullständigt sammanhang, bedöma holistiskt och besluta. Den enkelheten är avsiktlig, eftersom kognitiv overhead i granskningssteget är en av de saker som saktar ner program och spädar kvaliteten på signalen som kommer tillbaka.

Starta utan en fullständig programombyggnad

Sessionens fråga och svar (Q & A) dök upp en förutsägbar oro: detta låter rätt, men var börjar du ens? Kathy rekommenderade att börja med en körfält, en marknad, en innehållstyp, en ändrad fråga. Istället för att fråga granskare hur många fel de hittade, fråga om de skulle skicka detta till sin marknad. Spåra vad som kommer tillbaka i fyra enkla kategorier: 1) skepp; 2) inte ännu; 3) varför; och 4) vilken åtgärd som utlöstes. Det är signalen, och det är mer användbart än ett granulärt felantal eftersom det mappar direkt till ett affärsbeslut.

Ägaruppdelningen spelar också roll. Klientorganisationen ställer in affärssammanhanget och definierar riskaptiten för varje innehållstyp och marknad. Leverantörspartnern ansvarar för att möjliggöra bedömningen, få rätt granskare på plats, bygga arbetsflöden som kan fungera i önskad takt och se till att verktyget stöder tydliga beslut snarare än att belasta granskarna med processkostnader. Båda sidor måste göra sin del, eftersom beslut om leveransbarhet kräver någon som förstår vad som står på spel kommersiellt och någon som kan strukturera programmet för att fatta dessa beslut konsekvent i stor skala.

Uppgifterna från till och med en blygsam pilot börjar visa den verkliga riskformen i ett program: där team övergranskar innehåll som inte motiverar det, där de undergranskar innehåll som gör det, och hur en kvalitetsstrategi byggd för deras faktiska leveranstakt skulle se ut i praktiken.

Den varaktiga frågan

Sessionen avslutades med en effektfull restauranganalogi: tänk på att menyn kan översättas korrekt, men frågan är inte om orden är rätt. Frågan är om gästerna kommer att beställa med förtroende, lita på vad de läser och känner sig bekväma nog att komma tillbaka.

En lite besvärlig fras i dessertbeskrivningen är ett helt annat problem än ett missförstånd om allergener. Båda är tekniska fel, men endast en av dem representerar en risk som är tillräckligt allvarlig för att stoppa en lansering. Att veta skillnaden och strukturera ett kvalitetsprogram kring den skillnaden är vad fraktbarhet är utformad för att göra.

Lokaliseringskvalitet är inte ett ämne för språkperfektion. Det är ett tema för lansering av förtroende. Smartling- och OpenAI-sessionen på LocWorld55 gjorde det i konkreta termer, grundat på ett riktigt program som körs i verklig skala. Om din nuvarande kvalitetsprocess inte på ett tillförlitligt sätt kan svara på om en översättning är redo för sin marknad är det den mest användbara platsen att börja.