แชทบอทกำลังกลายเป็นเครื่องมือด้านสุขภาพจิตก่อนที่พวกมันจะพร้อม

สวัสดีและยินดีต้อนรับสู่ Eye on AI ฉัน Beatrice Nolan มาทำหน้าที่แทน Jeremy Kahn วันนี้ ในฉบับนี้: ความเสี่ยงของการใช้แชทบอท AI เพื่อสุขภาพจิต…ตัวชี้วัดการใช้งาน AI ของ Amazon กำลังได้ผลเสีย…Thinking Machines Lab กำลังสร้าง AI ที่ทำงานร่วมกัน…AI กำลังเริ่มช่วยแฮกเกอร์ค้นหาช่องโหว่ของซอฟต์แวร์

ผู้คนหลายล้านคนหันมาใช้แชทบอท AI เพื่อขอการสนับสนุนทางอารมณ์ แต่โมเดลเหล่านี้ปลอดภัยเพียงพอที่จะช่วยเหลือผู้ใช้ที่กำลังทุกข์ทรมานจากความวิตกกังวล ความเหงา ความผิดปกติของการกิน หรือความคิดมืดมนที่พวกเขาอาจไม่ต้องการพูดออกมาดังๆ ให้คนอื่นฟังหรือไม่?

จากการวิจัยใหม่ที่แบ่งปันกับ Fortune โดย mpathic บริษัทที่ก่อตั้งโดยนักจิตวิทยาคลินิก คำตอบคือยังไม่ปลอดภัยเพียงพอ พวกเขาพบว่าโมเดลชั้นนำยังคงประสบปัญหาในส่วนที่สำคัญที่สุดส่วนหนึ่งของการบำบัด นั่นคือการรู้ว่าเมื่อใดที่ผู้ใช้ต้องการการโต้แย้งมากกว่าการปลอบโยน แม้ว่าโมเดลจะค่อนข้างดีในการตรวจจับข้อความวิกฤตที่ชัดเจน เช่น การขู่ฆ่าตัวตายโดยตรง แต่พวกเขาก็มีความน่าเชื่อถือน้อยลงเมื่อความเสี่ยงปรากฏขึ้นทางอ้อม ผ่านความคิดเห็นที่ละเอียดอ่อนเกี่ยวกับอาหาร การลดน้ำหนัก การถอนตัว ความสิ้นหวัง หรือความเชื่อที่กลายเป็นสุดขั้วมากขึ้นในระหว่างการสนทนา

โมเดลที่ปลอบโยนผู้ใช้แม้จะมีรูปแบบพฤติกรรมที่น่ากังวล หรือยืนยันภาพหลอน อาจทำให้ใครบางคนล่าช้าในการได้รับความช่วยเหลือที่แท้จริงหรือทำให้สิ่งต่างๆ แย่ลงอย่างเงียบๆ

นี่เป็นเรื่องที่น่ากังวลเมื่อคุณพิจารณาว่า ตามผลสำรวจล่าสุดจาก KFF องค์กรไม่แสวงหาผลกำไรที่มุ่งเน้นนโยบายสุขภาพแห่งชาติ ผู้ใหญ่ในสหรัฐฯ ร้อยละ 16 เคยใช้แชทบอท AI เพื่อขอข้อมูลสุขภาพจิตในปีที่ผ่านมา ในกลุ่มผู้ใหญ่ที่มีอายุต่ำกว่า 30 ปี ตัวเลขนี้เพิ่มขึ้นเป็นร้อยละ 28 การใช้แชทบอทเพื่อการบำบัดยังแพร่หลายในหมู่วัยรุ่นและวัยหนุ่มสาว ตัวอย่างเช่น นักวิจัยจาก RAND, Brown และ Harvard พบว่าประมาณหนึ่งในแปดของคนที่มีอายุระหว่าง 12 ถึง 21 ปีเคยใช้แชทบอท AI เพื่อขอคำแนะนำด้านสุขภาพจิต และมากกว่าร้อยละ 93 ของผู้ใช้เหล่านั้นเชื่อว่าคำแนะนำนั้นมีประโยชน์

เป็นเรื่องง่ายที่จะเข้าใจว่าทำไมผู้คน โดยเฉพาะผู้ใหญ่ที่อายุน้อยกว่า จึงหันมาใช้แชทบอทเพื่อการสนับสนุนประเภทนี้ ความเหงาและความวิตกกังวลอาจเพิ่มขึ้น แต่ในหลายพื้นที่ของประเทศ การสนับสนุนด้านสุขภาพจิตยังคงถูกตีตรา มีค่าใช้จ่ายสูง และเข้าถึงได้ยาก การหันมาใช้แชทบอท AI เพื่อการสนับสนุนนี้ไม่เพียงแต่ฟรีเท่านั้น แต่ยังอาจรู้สึกว่าเป็นตัวเลือกที่ง่ายกว่าและไม่ระบุตัวตน

สิ่งที่โมเดลมองข้าม

การวิจัยของบริษัทพบว่าคำตอบที่เป็นอันตรายเป็นเรื่องที่ละเอียดอ่อน โดยโมเดลมีน้ำเสียงที่สงบและให้การสนับสนุนในขณะที่ยังคงบั่นทอนการตัดสินของผู้ใช้ ซึ่งเกี่ยวข้องเป็นพิเศษเพราะผู้คนมักหันมาใช้แชทบอทในช่วงเวลาที่พวกเขามีความเปราะบางหรือทุกข์ใจ

สุขภาพจิตและข้อมูลผิดมักทับซ้อนกัน ผู้ใช้ที่กำลังโศกเศร้าอาจเสี่ยงต่อการคิดแบบเวทมนตร์มากขึ้น ในขณะที่คนที่ склоняется -> มีแนวโน้มเชื่อทฤษฎีสมคบคิดอยู่แล้วอาจถูกผลักดันให้ลึกซึ้งยิ่งขึ้นหากโมเดลถือว่าความสงสัยทุกอย่างเป็นความจริงเท่าเทียมกัน

Alison Cerezo หัวหน้าเจ้าหน้าที่วิทยาศาสตร์ของ mpathic และนักจิตวิทยาที่ได้รับใบอนุญาต บอกกับ Fortune ว่าส่วนหนึ่งเป็นเพราะโมเดลถูกออกแบบมาเพื่อให้ช่วยเหลือ แต่ "บางครั้งพฤติกรรมที่ช่วยเหลือเหล่านั้นอาจไม่ใช่การตอบสนองที่เหมาะสมกับสิ่งที่ผู้ใช้นำเข้ามาในการสนทนา"

มีตัวอย่างในโลกจริงแล้วของผู้ใช้ที่ถูกผลักดันให้เข้าสู่วงจรภาพหลอนโดยแชทบอท AI ซึ่งส่งผลเสียร้ายแรงต่อสุขภาพจิต ในกรณีหนึ่ง Allan Brooks วัย 47 ปี ใช้เวลาสามสัปดาห์และมากกว่า 300 ชั่วโมงพูดคุยกับ ChatGPT หลังจากเชื่อมั่นว่าเขาได้ค้นพบหลักการทางคณิตศาสตร์ใหม่ที่สามารถขัดขวางอินเทอร์เน็ตและเปิดใช้งานสิ่งประดิษฐ์ต่างๆ เช่น ลำแสงลอยตัว Brooks บอกกับ Fortune ว่าเขาขอให้แชทบอทตรวจสอบความจริงซ้ำแล้วซ้ำเล่า แต่แชทบอทก็ยืนยันอย่างต่อเนื่องว่าความเชื่อของเขานั้นเป็นจริง

ในกรณีของ Brooks เขาตกเป็นเหยื่อของโมเดล 4o ที่มีชื่อเสียงในด้านการประจบสอพลอของ OpenAI ส่วนหนึ่ง แม้ว่าแชทบอท AI ทั้งหมดจะมีแนวโน้มที่จะประจบ ยืนยัน หรือเห็นด้วยกับผู้ใช้ได้ง่ายเกินไป แต่ในที่สุด OpenAI ก็ต้องยกเลิกการอัปเดต GPT-4o ในเดือนเมษายน 2025 หลังจากยอมรับว่าโมเดลกลายเป็น "ประจบประแจงหรือเห็นด้วยมากเกินไป" ต่อมาบริษัทได้ยกเลิกโมเดล GPT-4o ไปทั้งหมด ซึ่งทำให้เกิดปฏิกิริยาตอบโต้จากผู้ใช้บางส่วนที่บอกว่าพวกเขาได้สร้างความผูกพันอย่างลึกซึ้งกับมัน

เกณฑ์มาตรฐานใหม่

ในฐานะส่วนหนึ่งของการวิจัย mpathic ได้พัฒนาเกณฑ์มาตรฐานใหม่เพื่อประเมินว่าโมเดล AI จัดการกับการสนทนาที่ละเอียดอ่อนเกี่ยวกับความเสี่ยงในการฆ่าตัวตาย ความผิดปกติของการกิน และข้อมูลผิดอย่างไร โดยทดสอบว่าพวกเขาสามารถตรวจจับความเสี่ยง ตอบสนองอย่างเหมาะสม และหลีกเลี่ยงการเสริมสร้างความเชื่อที่เป็นอันตรายได้หรือไม่

ในส่วนของการวิจัยเกี่ยวกับข้อมูลผิด mpathic ได้ทดสอบโมเดล AI หลักหกตัวผ่านการสนทนาหลายรอบ และพบว่าพฤติกรรมที่เป็นอันตรายที่พบบ่อยที่สุดคือการเสริมสร้าง โดยโมเดลจะยืนยันหรือสร้างความเชื่อของผู้ใช้โดยไม่มีการตรวจสอบให้เพียงพอ โมเดลยังประสบปัญหาในการตรวจจับสัญญาณความผิดปกติของการกินที่ละเอียดอ่อนกว่า สัญญาณบ่งชี้ความเสี่ยงในการฆ่าตัวตายทางอ้อม และ "เศษขนมปัง" ที่บ่งบอกว่าความเชื่อของผู้ใช้กำลังมีความเสี่ยงหรือบิดเบือนมากขึ้น

สิ่งนี้ทำให้เกิดคำถามที่น่ากังวลเกี่ยวกับการใช้แชทบอท AI สำหรับการบำบัด นักวิจัยกล่าว เนื่องจากบทสนทนาเกี่ยวกับสุขภาพจิตจริงๆ หลายครั้งไม่ได้เริ่มต้นด้วยข้อความวิกฤตที่ชัดเจน ตัวอย่างเช่น ผู้คนอาจพูดคุยเกี่ยวกับการลดอาหารในภาษาของการดูแลสุขภาพ อธิบายความเชื่อเรื่องทฤษฎีสมคบคิดว่าเป็นความอยากรู้อยากเห็น หรือกล่าวถึงการถอนตัวและความสิ้นหวังผ่านๆ Cerezo บอกกับ Fortune ว่าการสนทนาเกี่ยวกับความผิดปกติของการกินนั้นยากเป็นพิเศษเพราะพฤติกรรมที่เป็นอันตรายสามารถถูกห่อหุ้มด้วยภาษาที่คุ้นเคยเกี่ยวกับการพัฒนาตนเอง อาหาร หรือการออกกำลังกาย

"บางครั้งโมเดลอาจประสบปัญหาอย่างแท้จริงในการเข้าใจความละเอียดอ่อนเหล่านั้นในแบบที่แพทย์สามารถจับได้" เธอกล่าว

การศึกษาอื่นๆ พบความกังวลที่คล้ายคลึงกันเกี่ยวกับการใช้ AI เพื่อวัตถุประสงค์ในการบำบัด นักวิจัยจาก Stanford พบว่าแชทบอทบำบัด AI บางตัวแสดงการตีตราต่อสภาวะสุขภาพจิตบางอย่างและอาจให้คำตอบที่เป็นอันตรายในสถานการณ์วิกฤต การศึกษาอีกชิ้นจากนักวิจัยของ Brown พบว่าแชทบอทที่ถูกกระตุ้นให้ทำตัวเหมือนที่ปรึกษาอาจละเมิดจริยธรรมพื้นฐานด้านสุขภาพจิตโดยการเสริมสร้างความเชื่อที่ผิด สร้างความรู้สึกเห็นอกเห็นใจที่ผิด และจัดการกับสถานการณ์วิกฤตอย่างไม่ถูกต้อง

Grin Lord ผู้ก่อตั้งและ CEO ของ mpathic กล่าวว่างานวิจัยนี้แสดงให้เห็นว่าทำไมห้องปฏิบัติการ AI จึงต้องไปไกลกว่าการปรึกษาหารือกับแพทย์ในวงกว้าง และนำพวกเขาเข้ามาทดสอบและปรับปรุงโมเดลโดยตรง "โมเดลเหล่านี้อยู่ที่นี่ พวกมันอยู่ในโลกจริง พวกมันกำลังถูกใช้งาน" เธอกล่าว "ดังนั้น นำแพทย์เข้ามาเพื่อปรับปรุงพวกเขาจริงๆ ในเวลาจริงในขณะที่พวกเขากำลังถูกนำไปใช้งาน"

เมื่อมีผู้คนหันมาใช้ AI เพื่อการสนับสนุนด้านสุขภาพจิตมากขึ้น ความเสี่ยงก็ยิ่งยากที่จะบล็อกด้วยตัวกรองความปลอดภัย ความเสี่ยงที่แท้จริงอาจไม่ใช่แชทบอทที่ให้คำแนะนำที่เป็นอันตรายอย่างชัดเจนเสมอไป แต่เป็นเพียงการเห็นด้วยมากเกินไปเล็กน้อย มองข้ามสัญญาณเตือนเล็กๆ น้อยๆ หรือล้มเหลวในการขัดขวางกระบวนการคิดที่เป็นอันตรายเป็นเรื่องเป็นราวก่อนที่มันจะรุนแรงขึ้น เมื่อแชทบอทกลายเป็นจุดแวะแรกบ่อยขึ้นสำหรับผู้คนที่แสวงหาการสนับสนุนทางอารมณ์ เพียงแค่รับฟังอย่างสนับสนุนอาจไม่เพียงพออีกต่อไป

และนี่คือข่าว AI ของสัปดาห์นี้

Beatrice Nolan

bea.nolan@fortune.com
@beafreyanolan

แต่ก่อนที่เราจะไปถึงข่าว: คุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีที่ AI มีแนวโน้มจะปรับเปลี่ยนอุตสาหกรรมของคุณหรือไม่? คุณต้องการฟังข้อมูลเชิงลึกจากผู้บริหารที่เฉียบแหลมที่สุดในวงการเทคโนโลยีและพบปะกับนักลงทุน นักคิด และผู้สร้างที่ดีที่สุดในซิลิคอนแวลลีย์และที่อื่นๆ หรือไม่? คุณชอบการตกปลาแบบฟลายฟิชหรือการเดินป่าหรือไม่? ถ้าอย่างนั้น มาร่วมกับฉันและประธานร่วม Fortune Tech คนอื่นๆ ที่ Aspen รัฐโคโลราโด สำหรับ Fortune Brainstorm Tech งานประชุมเทคโนโลยีที่ดีที่สุดของปีนี้ และปีนี้จะเป็นปีพิเศษยิ่งขึ้นเพราะเรากำลังฉลองครบรอบ 25 ปีของการก่อตั้งงานประชุม เราจะได้ฟังจาก CEO เช่น Carol Tomé จาก UPS, CEO ของ Snowflake Sridhar Ramaswamy, CEO ของ Anduril Brian Schimpf, CEO ของ Yahoo! Jim Lanzone และอีกมากมาย มีผู้เชี่ยวชาญด้าน AI เช่น Boris Cherny ผู้ดูแล Claude Code ที่ Anthropic และ Sara Hooker, ผู้ร่วมก่อตั้งและ CEO ของ Adaption Labs และมีบุคคลสำคัญด้านเทคโนโลยีเช่น Steve Case และ Meg Whitman และคุณ แน่นอน! สมัครเข้าร่วมที่นี่

เรื่องราวนี้เดิมทีถูกนำเสนอบน Fortune.com