AI og sikkerhet – utfordringer og muligheter
ChatGPT, Bard, DALL-E og GitHub Copilot. Utviklingen innen kunstig intelligens går i et rasende tempo, og fordelene er mange – men klarer egentlig sikkerhetsmekanismene å henge med på utviklingen?
Denne artikkelen er basert på Telenors rapport «Fremveksten av kunstig intelligens: Nye trusler, nye reguleringer og nye løsninger». Les rapporten på telenor.com.
En fremvoksende teknologi
Kunstig intelligens (AI) er en fremvoksende teknologi som representerer et paradigmeskifte som vil endre næringslivet og samfunnet forøvrig. Vi har bare såvidt begynt å se konturene av hva slags virkning denne teknologien kan ha og hvilke fordeler både enkeltpersoner, organisasjoner og bransjer kan dra nytte av. AI er ikke et futuristisk teknologisk konsept – som generative AI-verktøy som ChatGPT, Bard, DALL-E og GitHub Copilot har vist, er teknologien allerede godt integrert i hverdagen vår, og spiller også en viktig rolle på tvers av ulike industrier.
Samtidig er vi helt i startgropen når det gjelder sikker implementering og bruk av kunstig intelligens – både i et cybersikkerhets-perspektiv og i et bredere sikkerhets- og trygghetsperspektiv.
Vi har allerede sett flere eksempler på hvordan velment bruk av prediktiv kunstig intelligens kan ha alvorlige, uforutsette negative konsekvenser.
Også AI har sikkerhetsutfordringer
Det store gjennombruddet som offentlig tilgjengelige generative AI-verktøy for tekst, bilder, lyd og video har hatt, har sørget for at et langt bredere publikum har fått øynene opp for teknologien. Imidlertid har de fleste av oss – om ikke alle – allerede benyttet seg av AI-funksjoner i årevis. Maskinlæring og AI-modeller for kategorisering og prediksjon er allerede mye brukt i tjenester, som for eksempel når vi får personlige anbefalinger på Netflix, når vi snakker med en taleassistent eller når vi får hjelp av en kundeservice-chatbot.
Vi har allerede sett flere eksempler på hvordan velment bruk av prediktiv kunstig intelligens kan ha alvorlige, uforutsette negative konsekvenser – som for eksempel å bidra til diskriminering, sementere fordommer og subtilt gi uttrykk for uønskede verdier og preferanser som finnes i treningsdatasettene. Etter hvert som generativ AI er blitt mer fremtredende, har vi også sett hvordan ubetenksom anvendelse kan føre til at «hallusinasjoner» (altså oppdiktede fakta) blir tatt for god fisk, og for eksempel lagt fram som referansedommer i rettssaker. Mer bekymringsfullt er må- ten trusselaktører med kriminelle eller enda mer alvorlige hensikter utnytter teknologien for å oppnå sine mål.
Sikker bruk av språkmodeller som genererer tekst, som for eksempel en vanlig chatbot, har allerede vist seg å kunne gi utilsiktede konsekvenser. Dette skjedde nylig med et kanadisk flyselskap, der en chatbot ga et altfor godt tilbud til en kunde. Flyselskapets forsøk på å argumentere for at chatboten var en egen juridisk person, hvis handlinger de ikke kunne holdes ansvarlige for, ble ikke godtatt av den kanadiske domstolen.
Sikring av AI-modeller og deres bruksområder i et teknisk sikkerhetsperspektiv viser seg også, ifølge sikkerhetsforskere, å være i en tidlig fase. Blant annet har de dokumentert hvordan «prompt injection», altså oppfinnsom og kreativ innmating av tekst til en tekstgenererende AI, kan gi overraskende resultater med tanke på at slike systemer er designet for å analysere vilkårlige input-data. Enkelte tester har til og med ført til kompromittering av datamaskinen som kjører modellen.
AI-drevne assistenter er på vei inn på arbeidsplassene våre, med varierende grad av kontroll. Virksomheter begynner å innse at både hva vi mater inn og hva vi får ut fra AI åpner et helt nytt område innen datasikkerhet. Dette inkluderer både hva som blir presentert av informasjon til brukerne, og all data som deles fra virksomheten som en del av AI-prosessering eller trening – noe som er mindre åpenbart for mange. Alt dette må sikres.
Det er liten tvil om at ulike typer AI-teknologier vil bli brukt for å oppnå betydelige effektivitetsgevinster i utallige forretningsprosesser og systemer. AI gjør det også mulig for oss å håndtere, og dermed ta i bruk, prosesser og systemer med økende kompleksitet. Når AI-baserte beslutninger kobles med automatisering, er det imidlertid viktig å ha en tilstrekkelig forståelse av risikoene. Ofte kan det være nødvendig å ha et menneske involvert i beslutninger knyttet til høy risiko.
Ikke bare «AI i det godes tjeneste»
Den relativt ferske tilgjengeliggjøringen av gratis eller svært rimelige generative AI-tjenester for tekst, bilder, lyd og video er noe også cyberkriminelle raskt har tatt i bruk. Teknologien brukes direkte til svindel, men også som et støtteverktøy for sosial manipulering og i mer komplekse kriminelle aktiviteter. Muligheten til å skrive feilfritt på et fremmed språk, etterligne en virksomhets eller en gruppes tone of voice, endre stemmer for å utgi seg for å være en annen person – eller til og med endre et utseende live i videosamtaler – er åpenbart anvendelige verktøy for kriminelle.
Alle disse eksemplene på kriminell bruk har allerede ført til store tap for både selskaper og enkeltindivider. Et nylig eksempel er et angrep rettet mot en ansatt i et Hongkong-basert selskap. Den ansatte var i utgangspunktet skeptisk og motvillig til å etterkomme en mistenkelig forespørsel om å gjennomføre pengeoverføringer. Men da han ble invitert til en videokonferanse med det
som tilsynelatende var flere i selskapets ledelse – men som i virkeligheten var såkalte «deepfake»-endrede videostrømmer – ble han overbevist om at forespørselen om å overføre penger var ekte. Like etter utbetalte han rundt 20 millioner amerikanske dollar til de kriminelle bakmennene.
Selv om dette eksempelet har fått mye oppmerksomhet, er det langt fra det eneste tilfellet av ondsinnet bruk av AI-teknologi. Akkurat som at vi forventer at AI vil føre til gjennomgripende endringer både i virksomheter og samfunnet, vil det sannsynligvis også bli et allestedsnærværende verktøy for trusselaktører. Andre ondsinnede bruksområder inkluderer effektiv, automatisert og skalert utforskning av sårbarheter og gjennomføring av angrep, unnvikelse av adferdsbasert deteksjon, forbedret og automatisert «mutasjon» (polymorfisme) av skadelig programvare for å unngå oppdagelse – samt angrep på maskinlæringssystemene i seg selv.
Akkurat som at vi forventer at AI vil føre til gjennomgripende endringer både i virksomheter og samfunnet, vil det sannsynligvis også bli et allestedsnærværende verktøy for trusselaktører.
Å kjempe tilbake med AI
Heldigvis kan AI-teknologi også brukes i selve forsvars- og sikkerhetsarbeidet.
Tidligere ble gjerne mange virksomheter som forsøkte å innføre verktøy for forebygging av datatap (Data Loss Prevention) overveldet av innsatsen som kreves for å fininnstille og vedlikeholde disse verktøyene. De ga enten opp i forsøket, eller måtte begrense verktøyene til et relativt smalt sett av lett identifiserbare sensitive datatyper. Med kunstig intelligens er det nå mulig å effektivt analysere svært komplekse sett med ustrukturerte data – noe som gir nytt liv til slike viktige sikkerhetsfunksjoner. Bruken av AI er heller ikke forbeholdt trusselaktører som driver med phishing og sosial manipulasjon – teknologien brukes også i sikkerhetsfunksjoner utviklet for å identifisere slike tekster (eller AI-genererte tekster generelt). Dermed er noe så grunnleggende som e-postfiltrering nå i realiteten blitt en arena der én AI kjemper mot en annen.
Innen cybersikkerhetsovervåking og deteksjon (når man beveger seg utover deteksjon av det som er «kjent ondsinnet») brukes anomali- deteksjon for å identifisere interessante hen- delser som er verdt nærmere undersøkelse og som potensielt kan være symptomer på en sikkerhetshendelse. Dette er tradisjonelt en utfordrende disiplin med kontinuerlig forbedring og finjustering av regelsett og terskler. Her må man finne en balanse med tanke på hvor unormal en hendelse eller sekvens av hendelser må være før man bruker ressurser på menneskelig drevet undersøkelse. Selv om effektivitet selvfølgelig kan oppnås gjennom enkel automatisering av noen steg i analyseprosessen, for eksempel ved automatisert berikelse av data før eksponering til analytikere, har anvendelsen av kunstig intelligens på anomali-deteksjon potensial til å drastisk endre balansepunktet og radikalt forbedre «signal-til-støy-forholdet» – altså forekomsten av falske positiver. På samme måte ser vi nå at AI-drevne produkter som kommer på markedet adresserer den nåværende arbeids- krevende normaliseringen av data fra heterogene kilder, for å gjøre dem egnet for deteksjon og analyse.
Å omgjøre trusseletterretning til effektiv deteksjon er fortsatt en relativt arbeidskrevende disiplin for cybersikkerhetsorganisasjoner – fra det relativt enkle basert på atomiske indikatorer, til mer komplekse hendelsesmønstre for deteksjon på spesifikke teknologier. Her kan kombinasjonen av flere AI-kapabiliteter gi radikale effektivitetsgevinster, med langt raskere og bredere implementering av effektive deteksjonsregler. Et tilsvarende potensial finnes for generering av preventive tiltak, som for eksempel blokkeringsregler og dynamiske policies. Der hvor falske positiver viser seg å være ubetydelige, og operasjonell risiko tillater det, vil vi sannsynligvis se en økende grad av automatisering – som til slutt kan gjøre mennesker overflødige i prosessen.
I tillegg til det ovennevnte kan Security Operations Center (SOC) og Incident Response høste store effektivitetsgevinster fra bruk av ulike AI-teknologier. Mye av det såkalte «førstelinjearbeidet» som utføres av analytikere på SOC-en kan automatiseres eller støttes av AI. Dessuten kan deler av innledende analysearbeid og skadevurderinger støttes på en måte som reduserer behovet for tung kompetanse, og til en viss grad også nødvendig erfaring. Dette senker kompetanse- og erfaringskravet for å fylle en slik rolle effektivt, noe som igjen kan bidra til å tette det velkjente og globale kompetansegapet på feltet.
Uten at vi skal forsøke å liste opp alle måtene kunstig intelligens kan bidra til å styrke cyber- sikkerhet, er bruken av språkmodeller (LLM-er) i SOC og Incident Response også verdt å nevne. Muligheten til å samhandle med verktøy, data og kunnskapsbaser ved bruk av naturlig språk, samt støtten LLM-er kan gi til å skrive tidslinjer, rapporter, presentasjoner og annen kommunikasjon, er eksempler vi på kort sikt vil kunne se.
Det er ikke bare de kriminelle som prøver å lure oss – vi prøver også å lure de kriminelle. Såkalte «deception technologies» har lenge vært brukt i cybersikkerhet. Dette kan for eksempel være ressurser som gir seg ut for å være attraktive, verdifulle og/eller sårbare (som filer, kontoer, datamaskiner eller hele nettverk), men som i realiteten ikke brukes i produksjon. Overvåking av slike ressurser kan gi pålitelige signaler, øke evnen til å studere angriperens TTP-er (taktikker, teknikker og prosedyrer), og avlede angriperen til å fokusere på de falske ressursene i stedet for de ekte. Imidlertid kan angripere som bruker AI over tid få tilstrekkelig informasjon om forsvarssystemene og identifisere slike såkalte «honeypot»-nettverk, for dermed unngå dem i senere angrep. Innføringen av AI-baserte og dynamiske «honeypot»-ressurser kan motvirke dette gjennom automatisk omkonfigurerte feller som håndterer angrep basert på angriperens oppførsel.
Konklusjon
Som vi har sett ovenfor, fører AI-teknologi med seg en rekke nye risikoer og sikkerhetsaspekter. Innenfor cybersikkerhet ser vi at AI har ført til en opptrapping der angrepene blir bedre, og der sikkerhetspersonell bruker den samme teknologiske utviklingen for å holde tritt. Enkelte mener at fordelene ved bruk av AI for å styrke cyberforsvar for en gangs skyld faktisk overgår fordelene AI gir trusselaktørene – men det er fortsatt for tidlig å slå fast.
Som fagfolk innen sikkerhet har vi en tendens til å være litt dystopiske. Når det gjelder utviklingen av AI og den enorme økningen i bruk av teknologien, har ikke akkurat advarslene fra flere kjente teknologer og AI-eksperter om at AI kan utgjøre en eksistensiell trussel mot menneskeheten, hjulpet på dette. AIs mange bruks- områder innen sikkerhet kan likevel inspirere til noe håp.
Det er nødvendig å forstå risikoen ved bruk av AI og iverksette nødvendige tiltak. Det være seg sikkerhetstiltak for AI-systemer og bruken av dem, hvordan disse systemene brukes i forretningsprosesser, behovet for nye sikkerhetskapabiliteter i virksomheten som følge av dette, graden av menneskelig involvering i beslutningsprosesser – eller til og med tøyle jaget etter stadig mer effektivitet og automatisering. Her har vi alle en jobb å gjøre, og et ledelsesansvar å erkjenne.
