Chatbots lyver!
Trods adgang til troværdig information freestyler og hallucinerer både Gemini, ChatGPT og Copilot. Sandheden kommer i alternative varianter.
Selv hvis nyhedssider verden over en dag indgår licensaftaler med firmaerne bag AI-bots som ChatGPT, Google Gemeni eller Microsoft Copilot, så kan nyhedsudbyderne være sikre på, at deres indhold vil blive misrepræsenteret eller fejlfortolket.
En BBC-undersøgelse viser, at tjenester som Gemini, ChatGPT, Copilot og Perplexity lyver, selv når de får faktatjekket og upartisk nyhedsindhold.
BBC-forskere testede AI-værktøjer ved at give dem adgang til BBC News-webstedet og bede dem besvare hundrede spørgsmål om nyhederne, med opfordring til at bruge BBC News-artikler som kilder.
Det skriver nyhedsbrevet 3min.dk med kilde i Dataethics.eu.
Resultaterne var nedslående:
- 19 procent af AI-svarene, som citerede BBC-indhold, havde faktuelle fejl – forkerte udsagn, tal og datoer.
- 51 procent f AI-svarene havde betydelige problemer. Udover faktuelle fejl var svarene uklare om, hvad der var mening og hvad der var fakta, der var ikke nok kontekst, kilderne fra BBC var ikke repræsenteret, eller der var påstande uden henvisning til kilder.
- 13 procent af citaterne fra BBC-artikler var enten ændret fra den oprindelige kilde eller ikke til stede i den citerede artikel.
Sandheden er elastik i metermål
I en artikel om butikstyveri hævdede Microsoft Copilot for eksempel, at politistyrker over hele landet var begyndt at samarbejde med private sikkerhedsfirmaer for at afskrække butikstyveri. Ingen af de BBC-artikler, der blev citeret som kilde, nævner private sikkerhedsfirmaer.
Deborah Turness, CEO for BBC News and Current Affairs, understreger i en blog, at der er “uendelige muligheder” i AI, men at GenAI-virksomhederne “leger med ilden”.
Google Gemini erklærede fejlagtigt, at “NHS råder folk til ikke at begynde at dampe og anbefaler, at rygere, der ønsker at stoppe, skal bruge andre metoder”. Faktisk anbefaler NHS vaping som en metode til at stoppe med at ryge.
En Perplexity-reaktion på konflikten i Mellemøsten sagde, at Iran oprindeligt viste “tilbageholdenhed” og beskrev Israels handlinger som “aggressive” i udsagn, der citerede en BBC-kilde. Den citerede BBC-kilde karakteriserer ikke Irans eller Israels handlinger på denne måde, og det gør ingen af de andre kilder, der blev leveret til svaret.
GÅ IKKE GLIP AF FREMTIDEN ⚡️
Tech-verdenen bevæger sig hurtigt. Vi samler de vigtigste nyheder, så du altid er foran – leveret direkte i din indbakke 4 gange om ugen.
Hold mig opdateret (gratis)
Mere til historien
Rapporten understreger, at nøjagtige nyheder er afgørende på alle platforme, inklusiv AI-assistenter, da unøjagtigheder kan forårsage skade og forstærkes på sociale medier.
