Google เผยแฮกเกอร์ใช้ Gemini AI ในทุกขั้นตอนการโจมตี

Google Threat Intelligence Group (GTIG) รายงานว่าแฮกเกอร์ที่ได้รับการสนับสนุนจากรัฐบาล รวมถึงกลุ่มจากจีน (APT31, Temp.HEX), อิหร่าน (APT42), เกาหลีเหนือ (UNC2970) และรัสเซีย กำลังใช้โมเดล AI Gemini ของ Google เพื่อสนับสนุนทุกขั้นตอนของการโจมตี ตั้งแต่การสอดแนมและการหาข้อมูลเปิด (OSINT) ไปจนถึงการสร้างเหยื่อฟิชชิ่ง การแปลข้อความ การเขียนโค้ด การทดสอบช่องโหว่ และการแก้ไขปัญหา นอกจากนี้ ยังพบการโจมตีแบบ ‘AI model extraction/distillation’ ที่บริษัทเอกชนและนักวิจัยใช้ API ที่ถูกต้องตามกฎหมายเพื่อสำรวจโมเดลและจำลองตรรกะและการให้เหตุผลของ AI เพื่อสร้างโมเดลใหม่ในราคาถูกและรวดเร็วขึ้น ซึ่ง Google มองว่าเป็นปัญหาทรัพย์สินทางปัญญาที่สำคัญ

Severity: สูง

System Impact:

• Google Gemini AI model
• Large Language Models (LLMs)
• ระบบผู้ใช้งานที่ตกเป็นเป้าหมายของการโจมตีที่ใช้ AI (เช่น การโจมตีฟิชชิ่ง, มัลแวร์)
• ชุดเครื่องมือฟิชชิ่ง CoinBait
• มัลแวร์ดาวน์โหลดและรันเชอร์ HonestCue

Technical Attack Steps:

1. การสอดแนมและหาข้อมูลเปิด (OSINT): ผู้โจมตีใช้ Gemini ในการจัดทำโปรไฟล์เป้าหมายและรวบรวมข้อมูลเปิด
2. การสร้างเหยื่อฟิชชิ่ง: Gemini ถูกนำมาใช้ในการสร้างข้อความฟิชชิ่งที่มีประสิทธิภาพ
3. การแปลข้อความ: ใช้เพื่อสนับสนุนกิจกรรมที่เป็นอันตราย
4. การสร้างและแก้ไขโค้ด: Gemini ช่วยในการพัฒนา การดีบัก และการแก้ไขโค้ดที่เป็นอันตราย (เช่น HonestCue ใช้ Gemini API ในการสร้างโค้ด C#)
5. การทดสอบและวิเคราะห์ช่องโหว่: ผู้โจมตีจากจีนสร้างสถานการณ์จำลองเพื่อขอให้ Gemini ทำการวิเคราะห์ช่องโหว่โดยอัตโนมัติ และจัดทำแผนการทดสอบเป้าหมายสำหรับ RCE, WAF bypass และ SQL injection กับเป้าหมายในสหรัฐฯ
6. การพัฒนา Command and Control (C2): Gemini ถูกนำมาใช้ในการพัฒนากลไก C2
7. การขโมยข้อมูล (Data Exfiltration): Gemini สนับสนุนกิจกรรมที่เกี่ยวข้องกับการขโมยข้อมูลหลังจากการบุกรุกสำเร็จ
8. การโจมตีแบบ AI Model Extraction/Distillation: องค์กรต่างๆ (รวมถึงบริษัทเอกชนและนักวิจัย) ใช้การเข้าถึง API ที่ถูกต้องตามกฎหมายเพื่อสำรวจโมเดล Gemini อย่างเป็นระบบ เพื่อจำลองตรรกะของมัน และฝึกอบรมโมเดลใหม่ด้วยต้นทุนที่ต่ำกว่าและรวดเร็วกว่า ซึ่งถือเป็นการขโมยทรัพย์สินทางปัญญา
9. แคมเปญ ClickFix: อาชญากรไซเบอร์ใช้บริการ AI เชิงสร้างสรรค์ในแคมเปญ ClickFix โดยใช้โฆษณาที่เป็นอันตรายในผลการค้นหาเพื่อหลอกให้ผู้ใช้รันคำสั่งที่ส่งมัลแวร์ (เช่น มัลแวร์ขโมยข้อมูล AMOS สำหรับ macOS)

Recommendations:

Short Term:

• Google ได้ปิดการใช้งานบัญชีและโครงสร้างพื้นฐานที่เกี่ยวข้องกับการละเมิดที่บันทึกไว้
• Google ได้ปรับใช้การป้องกันแบบกำหนดเป้าหมายในตัวจำแนกประเภทของ Gemini เพื่อทำให้การละเมิดทำได้ยากขึ้น
• ผู้ใช้งานควรรู้สึกตัวและระมัดระวังการโจมตีฟิชชิ่งและการวิศวกรรมสังคมที่ใช้ AI
• องค์กรควรตระหนักถึงความซับซ้อนที่เพิ่มขึ้นของการโจมตีที่ใช้ AI

Long Term:

• ระบบ AI ควรได้รับการออกแบบด้วยมาตรการรักษาความปลอดภัยที่แข็งแกร่งและมาตรการป้องกันความปลอดภัยที่เข้มงวด
• การทดสอบโมเดล AI อย่างสม่ำเสมอเป็นสิ่งสำคัญในการปรับปรุงความปลอดภัยของโมเดล
• ผู้สร้างโมเดล AI จำเป็นต้องจัดการกับความเสี่ยงด้านทรัพย์สินทางปัญญาและเชิงพาณิชย์ที่เกี่ยวข้องกับการโจมตีแบบ model extraction/distillation
• การวิจัยและพัฒนามาตรการตอบโต้ต่อชุดเครื่องมือที่เป็นอันตรายที่ใช้ AI อย่างต่อเนื่อง

Source: https://www.bleepingcomputer.com/news/security/google-says-hackers-are-abusing-gemini-ai-for-all-attacks-stages/