Teknisk återkoppling och full transparens

Nu kan våra användare spela Mr Greens sköna casinospel utan att störas av tekniska fel. Som jag tidigare i veckan utlovat kommer här i linje med våra transparens-strävanden en beskrivning av vad som blev fel och störde spelandet i veckan.

Det som hände var att ett par kunder par dag enkelt uttryckt fick sitt saldo raderat utan att ens ha spelat. Pengarna fanns kvar i vårt backend som levererats av Nyx Interactive, men vi var tvungna att manuellt "låsa upp" dem för att de skulle återfinnas på kundens konto. Vi har en stor mängd kunder varje dag och det kan tyckas som att alla tekniska system som är transaktionsintensiva kan ha den här typen av problem. Banker, aktiehandel och spel - alla kan drabbas av liknande problem. Det gjorde emellertid inte oss lugnare. Den här typen av fel kan vi helt enkelt inte ha hos Mr Green. För kunden är det givetvis helt oacceptabelt. Man kan ju undra om vi ägnar oss åt att stjäla pengar eller om vår verksamhet bara är en bluff. Det är helt naturliga reaktioner på den här typen av tekniskt problem. För att ni skall förstå bättre vad som hänt och vad vi gjort åt saken vill jag i det följande ge en mer detaljerad beskrivning av problemet.

Den första hypotesen var att det var någonting fel i uppsättningen av vår databas. Vi kallade in två externa DBA-tekniker som tillbringade en dag med att felsöka och testa databasen. Det visade sig att våra databaser fungerar utmärkt och att vi har rejäl överkapacitet i systemet. Vi använde kanske 2-3 procent av kapaciteten när vi toppade, så det här var inte problemet.

Därefter fick vi hjälp av Nyx Interactives Singapore-kontor och ett antal svenska tekniker som bröt sina semestrar för att felsöka. Till slut upptäcktes att en så kallad query-plan som var uppsatt för vissa typer av transaktioner i vår SQL-databas var felaktigt uppsatt. Det gjorde att hela vår databas behövde sökas igenom för att slutföra vissa typer av transaktioner, vilket i sin tur gjorde sökningarna så långsamma att systemet låste sig under särskilt transaktionsintensiva perioder eller för särskilt transaktionsintensiva spelare. Planen har korrigerats och nu fungerar allt som det skall igen.

Samtliga individer som drabbats är identifierade och har kompenserats. Givetvis har deras konton återställts också.

Som en extra bonus fungerar dessutom Mr Green nu snabbare och bättre för alla användare.

Mikael Pawlo
Managing Director
Mr Green