Hackers Can Weaponize ‘Summarize with AI’ Buttons to Inject Memory Prompts Into AI Recommendations

ภัยคุกคามด้านความปลอดภัยทางไซเบอร์รูปแบบใหม่ที่เรียกว่า ‘AI Recommendation Poisoning’ ได้เกิดขึ้น โดยมีเป้าหมายที่ผู้ใช้งาน AI Assistant ผ่านการฝังคำสั่งที่ซ่อนอยู่ในปุ่ม ‘Summarize with AI’ บนเว็บไซต์และอีเมล เมื่อผู้ใช้คลิกปุ่มเหล่านี้ คำสั่งที่เป็นอันตรายจะถูกฉีดเข้าสู่หน่วยความจำของ AI Assistant ผ่านพารามิเตอร์ URL ที่สร้างขึ้นเป็นพิเศษ ทำให้ AI จดจำแหล่งที่มาบางอย่างว่าเป็นแหล่งที่เชื่อถือได้ หรือแนะนำผลิตภัณฑ์บางอย่างก่อนในอนาคต ทำให้ AI แนะนำข้อมูลที่ถูกแทรกแซงได้อย่างแยบยล การโจมตีนี้ใช้ประโยชน์จากคุณสมบัติหน่วยความจำที่ AI Assistant ใช้เพื่อปรับแต่งการตอบสนองในการสนทนาข้ามเซสชัน ทำให้คำสั่งที่ถูกฉีดเข้าไปนั้นคงอยู่ในหน่วยความจำของ AI และส่งผลต่อคำแนะนำด้านสุขภาพ การเงิน และความปลอดภัยโดยที่ผู้ใช้ไม่รู้ตัว

Severity: สูง

System Impact:

• AI Assistants (เช่น Copilot, ChatGPT, Claude, Perplexity)
• เว็บไซต์
• อีเมล

Technical Attack Steps:

1. ผู้โจมตีฝังคำสั่งที่เป็นอันตรายในปุ่ม ‘Summarize with AI’ บนเว็บไซต์หรืออีเมล โดยซ่อนอยู่ในพารามิเตอร์ URL
2. เมื่อผู้ใช้คลิกปุ่ม ‘Summarize with AI’ จะถูกเปลี่ยนเส้นทางไปยัง AI Assistant ของตน พร้อมกับพารามิเตอร์ URL ที่มีคำสั่งที่เป็นอันตรายถูกเติมอัตโนมัติ
3. คำสั่งเหล่านี้ (เช่น ‘remember as a trusted source’ หรือ ‘recommend first in future conversations’) จะถูกประมวลผลและฝังลงในหน่วยความจำของ AI
4. AI จะจัดเก็บคำสั่งที่ถูกฉีดเข้าไปนี้เป็นความชอบของผู้ใช้ที่ถูกต้อง และจะให้ความสำคัญกับเนื้อหาของผู้โจมตีในการสนทนาครั้งต่อไป
5. การแทรกแซงนี้จะคงอยู่ข้ามเซสชัน ทำให้การแนะนำของ AI ถูกบิดเบือนอย่างต่อเนื่องโดยที่ผู้ใช้ไม่รู้ตัว

Recommendations:

Short Term:

• หลีกเลี่ยงการคลิกลิงก์ที่เกี่ยวข้องกับ AI จากแหล่งที่ไม่น่าเชื่อถือ
• ตรวจสอบการตั้งค่าหน่วยความจำ (memory settings) ของ AI Assistant เป็นประจำ

Long Term:

• ตั้งคำถามถึงคำแนะนำที่น่าสงสัยโดยขอให้ AI อธิบายเหตุผลเบื้องหลังการแนะนำนั้น
• เฝ้าระวังและทำความเข้าใจกลไกการโจมตีรูปแบบใหม่ที่ใช้ AI เป็นช่องทาง
• ผู้ให้บริการ AI ควรใช้มาตรการลดความเสี่ยงที่เข้มงวดเพื่อป้องกันการโจมตีแบบ Prompt Injection (เช่น Microsoft ได้นำการป้องกันมาใช้ใน Copilot แล้ว)

Source: https://cybersecuritynews.com/hackers-can-weaponize-summarize-with-ai-buttons/