Forståelsen af dit it-system er kritisk og bør ikke outsources til AI

AI øger hastigheden, men udfordrer forståelsen 

AI er blevet et udbredt og vigtigt produktivitetsværktøj til systemudvikling og skriver ifølge research fra DX nu mere end halvdelen af al kode. Det betyder mere kode på kortere tid. I nogle organisationer kan resultatet være væsentligt flere fejl i koden (research fra DX) og flere sårbarheder (research fra Opsera). 

AI’s høje kodehastighed kan umiddelbart virke berusende. Men samtidig kæmper systemudviklerne med at holde trit med AI og bevare kontrollen og overblikket over koden og dokumentationen. 

I praksis er det vanskeligt for systemudviklerne ikke at lade sig besnære af en selvsikker AI, der argumenterer sagligt og isoleret set leverer brugbar kode og testkode samt omfattende dokumentation. Udfordringen er, at det tager tid og mental energi at opbygge den solide, nødvendige menneskelige kontrol med og forståelse for AI-genereret kode.  

Før AI kom systemudviklernes forståelse naturligt ved, at de selv udformede koden og lavede fejlrettelser. Nu er arbejdet med at opbygge menneskelig forståelse baseret på manuel review af AI-genereret kode og dokumentation. Dette trin i processen er tidskrævende og en flaskehals og kan medføre, at opgaven ikke får den påkrævede opmærksomhed. 

Jo mere AI genererer kode, test og dokumentation, jo mindre forstår mennesker af systemet. Og risikoen er stor i en presset hverdag. 

Men hvis koden virker, hvad er så problemet? 

Når systemet fejler, bliver forståelsen afgørende 

Klokken 5 om natten går et samfundskritisk it-system ned. Dit it-system. Og tusindvis af borgere er berørt. Du har brug for, at fejlen bliver rettet hurtigt. Men du har også brug for, at fejlrettelsen ikke har kritiske sideeffekter og ikke genopstår kort tid efter.  

Hvis din systemudviklingsleverandør har lav forståelse for systemet, vil dette typisk udmønte sig i, at det tager længere tid at finde og forklare problemet. Men måske værst af alt er, at din systemudviklingsleverandør i fejlhåndteringen ikke kan forholde sig tilstrækkeligt kritisk til eller udfordre AI’s forståelse. Selv når AI’s forståelse er forkert.  

Systemudviklingsleverandøren laver og tester fejlrettelsen ved brug af AI og har stor konfidens i, at fejlen er rettet. Samtidig nager tvivlen dog. 

Som systemansvarlig har du brug for mere end en hurtig fejlrettelse. Du har brug for, at leverandøren forstår, hvorfor fejlen er opstået, hvordan den kan rettes samt om fejlrettelsen kan skabe nye problemer. 

Derfor kan AI ikke stå alene. Det er afgørende, at systemudviklerne forstår systemets arkitektur, historik og afhængigheder godt nok til at vurdere AI’s forslag kritisk og tage ansvar for den endelige løsning. 

Denne forståelse kan gøre hele forskellen, når systemet er under pres. 

Stil krav til den menneskelige forståelse 

Som systemansvarlig bør du ikke kun måle din leverandør på udviklingshastighed, leveret funktionalitet og økonomi. Du bør også stille krav til, at leverandøren opbygger og fastholder den menneskelige forståelse af systemet. 

Ansvaret for arkitektur, design, kode og test skal ligge i leverandørens udviklingsteam. Det må ikke i praksis flyttes til AI. 

Dokumentationen spiller her en vigtig rolle. Men samtidig er store mængder AI-genereret dokumentation ikke i sig selv et tegn på god systemforståelse. Og dokumentationen skal ikke bare gengive, hvordan koden virker. 

Dokumentationen skal hjælpe udviklingsteamet med at forstå, hvorfor systemet er bygget, som det er. Arkitekturbeslutninger, rationaler, kompromiser og fravalg skal være tydelige.  

AI kan gøre systemudviklingen hurtigere og bedre. Gevinsten kræver dog modne udviklingsprocesser og faste rutiner, hvor udviklerne bevarer både ansvaret og forståelsen. Det er din sikkerhed for, at dit kritiske it-system udvikles til at være tilstrækkeligt robust. 

Bag indlægget