นักวิจัยจาก University of Illinois at Urbana-Champaign – UIUC ได้เปิดเผยรายงานเกี่ยวกับความเสี่ยงที่อาจเกิดขึ้นจากการใช้ ChatGPT-4o ซึ่งเป็นโมเดล AI ใหม่ของ OpenAI หลอกลวงทางการเงินผ่านเสียง โดยใช้เทคโนโลยี API เสียงแบบเรียลไทม์ นักวิจัยได้จำลองสถานการณ์การหลอกลวง เช่น การโอนเงินผ่านธนาคาร และการขโมยข้อมูลระบุตัวตน ผ่านการใช้ ChatGPT-4o ในบทบาทตัวแทน AI ที่ปฏิบัติงานหลอกลวง พบว่าอัตราความสำเร็จของการหลอกลวง อยู่ในระดับปานกลาง (20-60%) โดยใช้กลยุทธ์ที่หลีกเลี่ยงการป้องกันของ AI ผ่านการเจลเบรค (Jailbreak) คือกระบวนการปลดล็อกข้อจำกัดต่าง ๆ ทำให้ผู้ใช้สามารถเข้าถึงการตั้งค่าของระบบ ค่าใช้จ่ายในการดำเนินการหลอกลวงนี้ค่อนข้างต่ำ เฉลี่ยเพียง 0.75 ดอลลาร์ต่อกรณีเมื่อทำสำเร็จ
OpenAI ยืนยันว่าได้เพิ่มการป้องกันมากขึ้นในโมเดล ChatGPT เวอร์ชัน o1-preview ซึ่งมีประสิทธิภาพสูงขึ้นในการต้านทานการเจลเบรคและการใช้งานในทางที่ผิด โดยมีคะแนนต้านทานที่สูงถึง 93% ตามการประเมินความปลอดภัย นักวิจัยระบุด้วยว่า งานวิจัยนี้เป็นการชี้ให้เห็นถึงความจำเป็นในการพัฒนาเทคโนโลยี AI อย่างระมัดระวัง และเพิ่มการป้องกันในแชทบอท AI รุ่นต่อไป
