10. Bilag
10.9. Bilag 9 - Interviewguides og transskriberinger
Interviewers tale er markeret med fed, mens respondenternes tale er skrevet med normal skrifttype.
Interviewguide til interview 1
Vil du kort definere en scoringsmodel?
Vil du kort definere hvad Dataanalyse er som kontor i SKAT?
Hvad er Dataanalyses primære udfordring?
Hvad tror du kan hjælpe jer videre fra denne udfordring?
Hvilke barrierer er der?
Hvordan opdagede du det? Fik du det fortalt inden din ansættelse?
Hvad er jeres kernekompetence i Dataanalyse?
Hvad er kendetegnende for de medarbejdere, du har ansat i Dataanalyse (styrker/svagheder)?
Hvordan kommunikerer I med jeres kunder?
Hvordan får I fat i jeres kunder?
Hvordan organiserer I jeres arbejde internt? På hvilken måde kan det forbedres?
Hvordan tror du andre afdelinger i SKAT opfatter jer?
Hvordan kan dine medarbejdere få en bedre forretningsforståelse i SKAT?
Kan du give os eksempler på nogle projekter, der er lykkes for jer?
Hvad har I gjort rigtigt i de projekter?
Hvad er dit mål med afdelingen?
Hvor tror du Dataanalyse er om 5 år?
Interview 1 - Kontorchef i Dataanalyse, marts 2017
Udfordringen med at kende parametrene er en todelt og måske endda tredelt udfordring. På den ene side skal vi meget snart ifølge den nye persondatalov kunne informere om, hvis der sker en modelbeslutning og hvilke parametre, der har været udslagsgivende for den beslutning. Det kan medarbejderne faktisk ikke gøre i dag med de modeller, vi har. På den anden side hvis man spørger en udsøgningsmedarbejder, hvilke parametre har du brugt for at finde den her person, så kan de heller ikke svare på det typisk, fordi de jo er subjektive og derfor har man faktisk også et alvorligt retssikkerhedsproblem, fordi man ikke ved hvad man egentlig udvælger fra. Der kan være forskelle på, hvordan man vælger i forskellige landsdele. Den anden del er, at hvis vi nu udstiller de her
Tanja Rune Pedersen & Betina Svare Side 121 af 225 parametre og siger, at vi vælger på de og de parametre og man ikke er afhængig af at bruge modellen, hvad sker der så. Så bruger man de her parametre til at udvælge på den gamle måde. Så vil man gå ind i BO og finde de parametre, der betyder noget i modellen og gå ind og kigge på dem og så er man ikke afhængig af modellen og man vil stadig ikke give den feedback. Og vi kan ikke styre processer særlig godt, derfor er det også en udfordring at man giver dem den viden til hvordan de skal udsøge bedre. Det er vi faktisk ikke interesserede i, fordi det udvander vores model. Hvorfor vil vi så ikke det? I bund og grund vil vi gerne på at der ikke længere sidder udsøgningsmedarbejdere (det skal I nok ikke citere mig for), men de bliver flyttet over i en anden indsats, hvor de skal lave kontrol i stedet for. Så hvis vi forærer dem de gode parametre, så de kan finde de rigtige ting, så bliver det ikke muligt at lave det flyt.
Så der skal findes en anden måde, hvorpå de kan føle sig involveret?
Ja, der er rigtig mange problematikker forbundet med at gøre det, som hænger sammen med noget på længere sigt. Den sidste ting er at det reelt er rigtig svært, når man laver det der hedder black box modeller og forklare, hvad det rent faktisk er der har indflydelse. Vi er i gang med at lave sådan en lille mini-model, der skal forklare det, men ikke hundrede procent. Det kan man ikke. Så jeg kan sagtens forstå deres behov og jeg kan i bund og grund også godt tilbyde dem den forklaring, hvis jeg virkelig ville, men det er en udfordring for mig at gøre det af de her forskellige årsager. Så det skyldes jo et eller andet sted min frygt for, at de begynder at bruge de parametre og dermed gør de det sværere for os rent faktisk at bevise, at vores modeller er bedre end mennesket til at udsøge, fordi hvis de havde de parametre til rådighed, så ville de kunne udsøge på samme måde som modellerne og så går effektiviteten tabt.
Men hvad er det så, der skal overbevise dem? Modellens resultater?
Ja, men det er også det vi egentlig prøver at sige. I behøver egentlig ikke forklaringerne – hvad skal I bruge dem til? Ja, men så siger de typisk det med at de skal stole på modellen og føle os trygge i mave og alle mulige forklaringer og man sidder og tænker ja, det er fordi du misser pointen, fordi du sidder her ikke om fem år. Det er lidt hårdt at sige, men det er jo sådan virkeligheden er. Lige nu og her er det jo et samarbejde mellem BO-udsøgere og os, men det er det ikke på længere sigt. Så for os er det skidt at give dem alle vores hemmelige våben, kan man sige.
Ja, så det handler jo om at gøre parametrene ligegyldige for dem og fokusere på noget andet og overbevise dem på en anden måde.
Præcis.
Tanja Rune Pedersen & Betina Svare Side 122 af 225 Det er godt at høre det fra begge sider, fordi man kan jo godt forstå de gerne vil involveres, men de kan jo også involveres på anden vis.
Ja og når vi bygger modellen, så laver vi et godt samarbejde med dem, hvor de ligesom læsser deres viden af, fordi det er jo vigtigt for os for at kunne lave nogle gode modeller. Men omvendt så er vi heller ikke interesserede i, når vi har lavet modellen, at fortælle dem alle de her hemmelige forretningsregler om hvordan det skal udvælges og på hvilken måde for at få den maksimale hitrate.
Det er udfordrende.
Er det noget I har drøftet her internt i afdelingen ift. parametrene?
Nej, men hvis folk kommer og spørger om de må sende parametrene ud, så siger jeg nej – det skal de ikke gøre som udgangspunkt. Der er folk, der spørger om de kan få dem og nej, men du kan få det der generelt er mest betydende. Hvordan det helt præcist hænger sammen eller hvad der gør det, nej. De må godt sende en parameterliste og sige det er det vi ca. bruger, men det hjælper dem ikke særlig meget, fordi parameterlisten er en kompleks sammenhæng af ting, der gør det. Så de kan ikke bruge det til så meget.
Så det er mere en liste, der fortæller dem at der er rigtig meget med i modellen.
Ja, præcis. Der er en masse af mine analytikere, der tror man ikke kan sige nøjagtig hvad der boner ud – de ved ikke, fordi de ikke er blevet løftet nok endnu fagligt at man kan sagtens forklare, hvad der boner ud i modellen og også for den enkelte scoring. Det kan sagtens lade sig gøre, men det er bare rigtig besværligt, så indtil videre er der rigtig mange der ikke gør det. Men det skal man rent faktisk gøre her næste år. Når vi laver en score, så skal vi kunne præsentere og sige at den score opstod på grund af det og det og det pga. persondataloven.
Vil du kort definere hvad en scoringsmodel er, nu når vi er gået i gang med at optage?
Ja, en scoringsmodel meget kort fortalt og meget lavpraktisk, så er det en matematisk statistisk model, som smider ting i kasser. I risikokasser i det her tilfælde dvs. det er et fordansket ord af det der hedder machine learning, som man bruger i SKAT. Det findes ikke rigtig ude på den anden side af hvad jeg ved. Jeg har aldrig hørt det før jeg startede i SKAT. Det handler i bund og grund om at tage virksomheder eller hvad det nu er man scorer, og kaste en score på dem og ud fra den score kan man dele ting ind i kasser.
Og på samme måde vil vi gerne bede dig om at fortælle hvad Dataanalyse er for et kontor.
For mig at se er vi den centrale enhed, der laver scoringsmodeller eller machine learning. Det er det vi er sat i verden for at lave. Der vil nok være mange forskellige gæt på hvem vi er derude. Nogen
Tanja Rune Pedersen & Betina Svare Side 123 af 225 der os som IT, nogen der os som nogle der laver dataanalyse dvs. en massebeskrivelse af statistik og det jeg har brugt rigtig meget tid her det halve års tid efter jeg er startet det er at få losset alle de her beskrivelser af folks problemer ud af kontoret. Vi vil ikke længere beskrive folks problemer, vi vil gerne løse dem faktisk. Så frem for at vi sidder og laver lange beskrivelser af det ene eller det andet, så laver vi nu risikoscoringsmodeller eller machine learning som det primære.
Hvad er jeres primære formål?
Ja, hvad er vores primære formål. Det er at være kompetencecenter på det. Det er et central kompetencecenter for at lave machine learning modeller. Selvom vi er en enhed, som skal sikre det, så har vi jo ikke noget mandat til at gå ud og fortælle hvordan folk de skal gøre. Jeg skubber os i en retning af at være forretningsudviklende dvs. vi siger til folk at vi kan se det virker og at det virker på en sådan måde og nu skal I bare gøre sådan. Så jeg ser vores fremtid som værende et datadrevet forretningsudviklingskontor mere end nogen, der sidder og nulrer med tal.
Hvad er jeres primære udfordring?
Det er forretningens inkompetence, tilgiv mig mine meget hårde ord. Det er at forretningen simpelthen ikke forstår, hvad vi laver og det er den aldersgruppe, vi henvender os til ude i SKATs forretning – det er en meget aldrende gruppe af mennesker, som jeg tror har rigtig svært ved at forstå, hvordan man gør de her ting nu i dag og hvad man kan og ikke kan. Jeg tror de er vant til at sidde og skubbe papirer og vi er vant til at sidde og skubbe bits og bytes. Det clasher rigtig hårdt der nogen gange.
Hvad kan hjælpe jer videre fra den her udfordring?
Jamen, det som jeg gør det er at jeg tager ud og underviser forretningen i machine learning, dataanalyse og datadrevet forretningsstrategi – hvordan man kan være datadrevet. Så jeg bruger enormt meget krudt på at tage ud og præsentere de her ting på en meget simpel og lavpraktisk måde fx så siger jeg ikke at vi laver avancerede statistiske modeller – jeg siger at vi smider ting i kasser.
Det er til at forstå. Det er sådan det jeg prøver at gøre, at bringe det helt ned til der hvor folk kan følge med. Det er ligemeget hvor meget rumraket og fysik, der er i det – det betyder ikke noget for dem, der skal bruge det.
Hvad er der ellers af barriere?
Så er der kontroltabet i det du fratager den enkelte medarbejders ret til at beslutte – det er jo også en ret alvorlig ting at gøre. Det er det vi i høj grad gør, når vi går ud med en scoringsmodel, så fratager vi retten til at den enkelte skal beslutte.
Tanja Rune Pedersen & Betina Svare Side 124 af 225 Da du blev ansat der sidste år, fik du så fortalt noget om de her udfordringer eller er det noget, du selv har opdaget?
Altså nej, de har ikke fortalt mig de her udfordringer, men jeg fik at vide at det sandede lidt til. Og jeg kan jo godt se hvorfor. Det er en kombination af mange ting, der har gjort det. Men jeg fik at vide, at det var et velfungerende kontor og det har det også på mange måder været, men der er også mange steder, hvor jeg qua mit ambitionsniveau ser der skal løftes rigtig meget for at vi bliver rigtig velfungerende ift. SKAT.
Hvad er jeres kernekompetence?
Ja, det kommer an på om du spørger mig nu eller om et år. Lige nu er vores kernekompetence at lave matematiske og statistiske modeller og det er jo også en rigtig fin kompetence. Det er sådan en grundkompetence, som vi skal have i vores kontor. Om et år er det at gå ud og ændre på forretningens processer i langt højere grad end vi gør i dag. Det er vi allerede begyndt rigtig meget på, men I skal forestille jer at vi sidder i sådan et apparat, hvor vi skal bestilles til at udføre en opgave og det er rigtig svært at blive bestilt til en opgave, hvis dem der bestiller ikke ved hvad de skal bestille. Så jeg ser jo at vi langt højere grad at vi ikke længere skal bestilles, men bare går ud og udføre det selv og kigger ned i nogle processer og siger der ser det spændende ud og vi kan se der er en masse spild eller optimeringsmuligheder. Og så går vi ud og retter den proces til og beder folk om at gøre det anderledes. Det er det jeg ser der sker om et år og vi er allerede begyndt på det, kan man sige, men det kommer til at ske noget mere.
Men det kræver vel også, at I får autorisation til at bestemme hvordan folk skal ændre deres processer?
Det får vi også. Det er jeg 99,9 procent sikker på at vi får.
Hvad kendetegner dine medarbejdere her i Dataanalyse – styrker og svagheder?
De er meget nørdede på den gode nørdede måde, men de er ekstremt nørdede og faglige. Jeg kalder dem gerne for SKATs marsjægerne, fordi de er meget i hovedet og det er meget med tunge beregninger og meget med at overskue svære problemstillinger og få dem knust i stykker. De er mindre gode til sådan noget som projektledelse og til at stoppe, når man skal stoppe og når tiden er inde dvs. det man typisk ser hos dem er at de lægger guldplader på pyramiderne, fordi de skal skinne langt væk. Men hvis forretningen bare har bedt om et lerhus, så er det ligemeget med at bygge et guldhus. Og det skal de i høj grad vænnes til, at det er forretningen, der siger stop. Nu har vi forbedret træfraten med 15 procent.
Tanja Rune Pedersen & Betina Svare Side 125 af 225 Så de er meget professionelle og perfektionistiske.
De er ekstremt perfektionistiske omkring det de laver. Det hører simpelthen til den type der. De er simpelthen så faglige, så de bliver ved og ved og ved. Og det gør også at de har svært ved at afslutte opgaver, hvilket er en ting jeg ser. De får en ikke trykket hele vejen igennem, så det er jo noget jeg har meget fokus på.
Hvordan kommunikerer I med jeres kunder?
Ja, det er jo et godt spørgsmål. Altså, jeg ved der er medarbejdere, der tager ud på møder og snakker med kunder. Jeg kommunikerer meget med kunder i massekommunikation – det kan være i intraartikler, jeg laver et arrangement, hvor de skal møde op eller det kan være jeg tager ud til ledermøder i større forsamlinger, hvor jeg kan bruge min tid effektivt og fortælle vidt og bredt omkring det der med at smide i kasser og hvad man kan med det. Noget af det jeg fx synes er problematisk i dag, det er når man starter et projekt op, så er man ikke garanteret at få en jævnlig status om hvordan det går. Det som om der er sådan en måde at arbejde på i dag, hvor man starter et projekt op og så går der lang tid, hvor der sidder nogle nørder og nørder løs og så glemmer man lidt at informere forretningen om, hvad der egentlig sker. Så går der evigheder af tid og så lige pludselig får de en tilbagemelding på, at nu er den klar og det kan godt være man er nået alt for langt der og man skulle have taget flere koordinerende møder. Det er også noget af det jeg vil adressere i fremtiden, at forretningen kan få direkte adgang til et system og se hvordan det går med at løse vores opgaver. Sådan så vi i vores opgavestilling kan give adgang og de kan se, at nu laver vi det og det. Fordi det der også sker det er at det bliver meget uforståeligt det vi laver – altså, at forretningen simpelthen ikke kan forstå, at det tager så lang tid. Og det tager jo kanon lang tid de ting, vi laver her. Det at få bygget en model fra bunden kan måske tage op mod et halvt år, fordi der er dårlig datakvalitet eller vi skal finde de rigtige data i det hele taget eller fordi vi skal have snakket med forretningen eller hvad det er der kan gøre, at man skal snakke med hinanden. Dem derude ved jo ikke hvad der sker og så sidder de og tripper, det kan jeg godt forstå. Det er min vurdering, at der er enormt dårlig feedback til forretningen i hvilken proces, det er vi er i og det hænger måske også sammen med at der ikke tidligere før jeg var faktisk har været en udviklingsproces for hvordan man lavede det her dvs. hvordan skal man gå til hvilken fase, når man ikke har en proces altså. Det var faktisk noget af det første jeg smækkede på bordet, det var ligesom at sige, at vi skal have en proces for det her.
Ja, så mere bevidsthed om hvor er jeg og hvor skal jeg hen.
Tanja Rune Pedersen & Betina Svare Side 126 af 225 Ja, præcis.
Jeg kunne egentlig godt tænke mig om du ikke ville fortælle lidt om din baggrund (også uddannelsesmæssigt).
Jeg har en baggrund fra Handelshøjskolen – jeg har en HA.almen og cand.merc. i afsætning. Så har jeg taget rigtig mange kurser og jeg har haft min egen forretning i mange år med ansatte. Og har derigennem ligesom været hardcore konsulent i mange år og set mange typer af virksomheder og deres problemer. Så har jeg lavet hardcore software udvikling i de seneste 5 år. Jeg har lavet rigtig mange forskellige ting i bund og grund.
Hvad har den baggrund af betydning for din rolle i Dataanalyse?
Altså, der er ingen tvivl om at jeg nok er ansat af min chef her i SKAT, fordi han nok kunne se den baggrund jeg havde. Det er lidt en unik profil, at jeg både har et ledergen, men også har en enorm faglighed omkring det her. Jeg ved rigtig meget om machine learning og jeg ved rigtig meget om softwareudvikling og om processerne, så jeg har helt klart kunne bidrage med rigtig meget der.
Hvad tror du det betyder for kontorets fremtid?
Det betyder, at vi springer tingene hurtigt over, fordi jeg ved hvor jeg gerne vil hen. Så kan det godt være de får nogle små chok undervejs, men det kører i høj hastighed på at udvikle metoder og hvordan vi gør ting. Pt er jeg gået i gang med at implementere det her opgavestyringssystem, som giver adgang til forretningen. Så småt er jeg begyndt at snuse til hvad vil jeg gerne have, hvordan skal det designes og hvordan hænger det sammen med vores udviklingsproces og hvordan hænger det sammen med den kommunikation, vi har. Efterspørgsel på strategisk kommunikation ift.
direktionen, efterspørgsel ift. medarbejdere og forretningen. Alt dette skal skrues sammen i ét hug.
Jeg lyder virkelig arrogant, når jeg sidder og snakker sådan her, jeg er meget langt fremme ift.
tankerne her i SKAT generelt. Jeg har folk nede og kigge på vores systemer, der siger vi er dem, der er længst fremme i hele SKAT på trods af at der bliver lavet udviklingscentre og alle mulige andre ting og sager. Så vi er ligesom allerede lysår foran. Så vi springer rigtig mange led foran lige nu.
Der er ingen tvivl om at vi springer kvantespring, fordi jeg godt ved hvor jeg vil hen, men så kan det godt være det ikke er skrevet ned og det ikke har været på et PowerPoint, men jeg ved lige præcis hvad jeg gerne vil.
Ved dine medarbejdere også det?
Det tror jeg ikke.
Ved ledelsen det?