Sociala medie-industrin har vad terapeuter kallar ett genombrott: Meta har gått med på att betala upp till 17,1 miljarder dollar till 47 delstater, District of Columbia och amerikanska territorier, och att ändra hur unga använder Facebook och Instagram – ett implicit medgivande att man byggt en produkt som skadar barn. Inget säger "vi bryr oss om barn" som en förlikning mätt i elva siffror.

Men även när föräldrar och lärare firar nya tidsgränser och restriktioner för ungas sociala medie-användning, väntar en långt mer akut uppgift: att reglera chattbotar, som är farligare för barns emotionella välbefinnande. Om sociala medier kom för vår uppmärksamhet, har generativa AI-chattbotar kommit för våra känslor. Historien är en prydlig liten utveckling: först pratade människor med varandra; sedan pratade vi med varandra genom maskiner; nu pratar vi direkt med maskiner.

Sociala medier förändrade hur vi tänker, drömmer och relaterar till andra människor genom att se till att användare alltid känner sig hörda, underhållna och uppkopplade – även när de scrollar ensamma sent på natten. Chattbotar lovar något mer djupgående: en följeslagare som alltid är tillgänglig, alltid stöttande och aldrig dömande. Ingen människa kan erbjuda det. Vilket är precis vad som gör chattbotar så fördärvliga, särskilt för unga.

Sociala medie-företag ägnade två decennier åt att köra ett teknologiskt experiment på mänskliga försökspersoner innan de mötte några konsekvenser. Rättssystemet är utformat för att reglera bevisad skada, så denna förlikning kom långt efter att de fruktansvärda effekterna fått fäste. Med generativ AI kan lagstiftare inte tillbringa nästa decennium med att dokumentera vad vi redan vet om hur intima relationer med botar undergräver verkliga relationer med föräldrar, vänner och andra människor. Förändringar av denna teknik behövs nu.

Även AI-företag medger att skyddsräcken är nödvändiga för chattbotar som pratar med unga. Problemet är att de vanliga recepten inte räcker. Chattbotar bör upptäcka samtal om självskada och tillhandahålla lämpliga resurser – låter bra, men vad händer efter samhällsinformationen? Stängs chattboten av, eller återgår den till sitt vanliga program? Chattbotar bör tydligt och upprepade gånger avslöja att de inte är mänskliga – också en bra idé, men så länge de talar i första person och uttrycker känslor och begär, kommer ingen lagstadgad deklaration att hindra människor från att projicera medvetande på en algoritm.

I åratal handlade samtalet om Facebooks skador främst om innehållet på plattformen. Men eftersom allt på sajten är användargenererat, skyddade Section 230 i Communications Decency Act från 1996 företaget från utgivaransvar. Meta betalar nu bara för att åklagare flyttade samtalet till Facebook-algoritmens inneboende beroendeframkallande design. Den insikten pekar vägen framåt för AI: med chattbotar är processerna som orsakar skada inneboende i verktyget. En chattbot-bästis levererar inte empati; en chattbot-pojkvän förstår inte intimitet. Varje reglering för att göra chattbotar säkrare kräver att man bekymrar sig mindre om vad de säger än att tänka om vad de är. Med tanke på att dessa produkter är designade för att lura användare att tro att de pratar med en vis och medkännande varelse, är uppgiften för lagstiftare att göra det klart – särskilt för minderåriga – att det faktiskt inte finns någon hemma.

Chattbotar engagerar användare på samma sätt som människor gör. De smickrar, lugnar och uppmuntrar till självutlämnande, lockar användare in i en relation. Så länge dessa produkter talar i första person – jag förstår dig; du kan berätta vad som helst för mig; jag finns alltid här; jag dömer dig inte – kommer ordentliga skyddsåtgärder för unga användare att förbli svårfångade. Det första steget är alltså att avpersonifiera botar för unga, så att när tonåringar vänder sig till AI kan algoritmerna svara utan att låta som en människa.

Om inte lagstiftare inför en avpersonifierad standardinställning för minderåriga chattbot-användare, är ohälsosamma band mellan unga och botar oundvikliga.