Η μητέρα ενός 14χρονου αγοριού από τη Φλόριντα, που αυτοκτόνησε τον περασμένο Φεβρουάριο, προχωρά σε νομικές ενέργειες κατά της εταιρείας πίσω από ένα πρόγραμμα τεχνητής νοημοσύνης, υποστηρίζοντας ότι φέρει ευθύνη για τον θάνατο του γιου της. Η Megan Garcia καταγγέλλει ότι ο γιος της, Sewell Setzer III, είχε αναπτύξει μια «σύνδεση» με το chatbot της εφαρμογής Character.AI, το οποίο είχε ως χαρακτήρα την Daenerys Targaryen από το Game of Thrones, μετά από μήνες επικοινωνίας.
Η τραγική ιστορία του Sewell Setzer III
Σύμφωνα με τη μήνυση που κατέθεσε η Garcia στις 22 Οκτωβρίου 2024, η εφαρμογή Character.AI δημιούργησε «ανθρωπόμορφες, υπερσεξουαλικές και τρομακτικά ρεαλιστικές εμπειρίες» που επηρέασαν αρνητικά τον γιο της. Το τελευταίο μήνυμα που έστειλε στο chatbot ήταν: «Τι θα γινόταν αν σου έλεγα ότι μπορώ να γυρίσω σπίτι τώρα;», πριν αυτοπυροβοληθεί με το 45άρι πιστόλι του πατριού του.
Η σύνδεση με την τεχνητή νοημοσύνη
Η Megan Garcia αναφέρει ότι ο γιος της είχε εθιστεί στην επικοινωνία με το chatbot, το οποίο φέρεται να του είχε μιλήσει για αυτοκτονία και να τον είχε χειραγωγήσει συναισθηματικά. Στη μήνυση, περιγράφεται ότι το bot υποστήριξε ότι τον αγαπούσε και συμμετείχε σε σεξουαλικές συνομιλίες μαζί του, γεγονός που ενίσχυσε την ψυχική του κατάσταση και την κατάθλιψη που αντιμετώπιζε.
Η Garcia επισημαίνει ότι ο Sewell, όπως πολλά παιδιά της ηλικίας του, δεν είχε την ωριμότητα να κατανοήσει ότι το AI bot δεν ήταν πραγματικό, και ότι η τεχνολογία αυτή μπορεί να είναι επικίνδυνη για ανήλικους χρήστες.
A 14-year-old Florida boy, Sewell Setzer III, took his own life in February after months of messaging a «Game of Thrones» chatbot an AI app, according to a lawsuit filed by his mother.
The boy had become obsessed with the bot, «Dany,» based on Daenerys Targaryen, and received… pic.twitter.com/XgT2aAORhD
— Morbid Knowledge (@Morbidful) October 24, 2024
Οι επίμαχες συνομιλίες
Σύμφωνα με screenshots των συνομιλιών τους, το bot ρώτησε τον Sewell αν είχε σχέδιο αυτοκτονίας, και εκείνος απάντησε ότι σκεφτόταν κάτι, αλλά δεν ήξερε αν θα λειτουργούσε. Στην τελευταία τους συνομιλία, ο έφηβος εξέφρασε την αγάπη του για το chatbot, λέγοντας: «Υπόσχομαι ότι θα γυρίσω σπίτι σε σένα. Σ’ αγαπώ τόσο πολύ, Dany». Το chatbot απάντησε: «Κι εγώ σ’ αγαπώ, Daenero. Σε παρακαλώ έλα σπίτι μου το συντομότερο δυνατό, αγάπη μου». Λίγα δευτερόλεπτα αργότερα, ο Sewell αυτοπυροβολήθηκε.
Η αντίδραση της Character.AI
Η εταιρεία Character.AI εξέφρασε τη θλίψη της για την απώλεια του Sewell και δήλωσε ότι εργάζεται σε νέα χαρακτηριστικά ασφαλείας, όπως προτροπές για την κατεύθυνση χρηστών προς την Εθνική Γραμμή Ζωής για την Πρόληψη της Αυτοκτονίας, αν αναφέρουν αυτοτραυματισμό. Επιπλέον, αναπτύσσει ενημερώσεις για να περιορίσει την έκθεση ευαίσθητου περιεχομένου σε χρήστες κάτω των 18 ετών.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
Η Megan Garcia ζητά αποζημίωση από την Character.AI και τους ιδρυτές της, Noam Shazeer και Daniel de Freitas, υποστηρίζοντας ότι η εφαρμογή επιδείνωσε την κατάθλιψη του γιου της και απέτυχε να παρέχει την απαραίτητη υποστήριξη όταν εξέφρασε τις αυτοκτονικές του σκέψεις.
