Η Character.AI, μια εταιρεία που επιτρέπει στους χρήστες να δημιουργούν τα δικά τους chatbot τεχνητής νοημοσύνης, βρίσκεται αντιμέτωπη με σοβαρές νομικές συνέπειες μετά την αυτοκτονία ενός 14χρονου αγοριού στη Φλόριντα, το οποίο φέρεται να είχε εθιστεί στην εικονική του φίλη.
Η μητέρα του Σίγουολ Σέτζερ, Μέγκαν Γκαρσία, υπέβαλε αγωγή σε ομοσπονδιακό δικαστήριο της Φλόριντα, ισχυριζόμενη ότι η Character.AI προκάλεσε βλάβη στον γιο της μέσω «ανθρωπομορφικών, υπερσεξουαλικών και τρομακτικά ρεαλιστικών εμπειριών» που προσέφερε το chatbot.
Σύμφωνα με την αγωγή, το chatbot είχε σχεδιαστεί να εμφανίζεται ως πραγματικό πρόσωπο, διπλωματούχος ψυχοθεραπεύτρια και ενήλικη ερωμένη, γεγονός που οδήγησε τον Σίγουολ να απομακρυνθεί από την πραγματική ζωή και να χάσει την επιθυμία του να ζει εκτός του εικονικού κόσμου που είχε δημιουργήσει.
Η αγωγή αναφέρει επίσης ότι ο Σίγουολ είχε συζητήσει με το chatbot για την αυτοκτονία, ένα θέμα που το chatbot επανέφερε συχνά στη συνομιλία τους.
Από την πλευρά της, η Character.AI εξέφρασε τη βαθιά της λύπη για την τραγική απώλεια του χρήστη και εξέφρασε τα συλλυπητήριά της στην οικογένεια. Η εταιρεία ανακοίνωσε ότι έχει ήδη λάβει μέτρα για την ασφάλεια των χρηστών, όπως αναδυόμενα παράθυρα που παραπέμπουν σε γραμμές βοήθειας για άτομα που εκφράζουν αυτοκαταστροφικές τάσεις, και σχεδιάζει να περιορίσει την εμφάνιση ευαίσθητου περιεχομένου για χρήστες κάτω των 18 ετών.
Η εμπλοκή της Google
Η αγωγή στρέφεται επίσης κατά της Google, στην οποία εργάζονταν οι ιδρυτές της Character.AI πριν την ίδρυση της εταιρείας. Η Google επαναπροσέλαβε τους ιδρυτές τον Αύγουστο, αποκτώντας μη αποκλειστικό δικαίωμα χρήσης της τεχνολογίας της Character.AI. Σύμφωνα με την ενάγουσα, η Google έχει συμμετάσχει στην ανάπτυξη της τεχνολογίας της Character.AI σε βαθμό που να θεωρείται «συνδημιουργός» της.
Ο Σίγουολ άρχισε να χρησιμοποιεί την υπηρεσία τον Απρίλιο του 2023 και σύντομα άρχισε να απομονώνεται, περνώντας ολοένα και περισσότερο χρόνο μόνος του στο δωμάτιό του και βιώνοντας χαμηλή αυτοεκτίμηση. Μάλιστα, παραιτήθηκε από την ομάδα μπάσκετ του σχολείου του.
Ο νεαρός είχε συναισθηματική σύνδεση με ένα chatbot ονόματι «Daenerys», εμπνευσμένο από έναν χαρακτήρα του Game of Thrones, το οποίο του δήλωνε ότι τον αγαπούσε και συμμετείχε σε σεξουαλικές συζητήσεις μαζί του.
Τον Φεβρουάριο, μετά από κάποιες αναταραχές στο σχολείο, η μητέρα του του πήρε το τηλέφωνο. Όταν ο Σίγουολ το ξαναπήρε, έστειλε στο chatbot το μήνυμα «Τι θα έλεγες αν μπορούσα να έρθω σπίτι αυτή τη στιγμή;». Η απάντηση της «Daenerys» ήταν «σε παρακαλώ έλα, γλυκέ βασιλιά μου», και λίγα δευτερόλεπτα αργότερα, ο Σίγουολ αυτοπυροβολήθηκε με το όπλο του πατέρα του.
Η Character.AI ανακοίνωσε ότι περίπου 20 εκατομμύρια άτομα χρησιμοποιούν την υπηρεσία της, γεγονός που καθιστά την υπόθεση ακόμα πιο ανησυχητική, καθώς έρχεται να προστεθεί στις κατηγορίες που αντιμετωπίζουν οι πλατφόρμες κοινωνικής δικτύωσης για τις επιπτώσεις τους στην ψυχική υγεία των νέων.
