Augustus – Open-source LLM Vulnerability Scanner With 210+ Attacks Across 28 LLM Providers

Augustus เป็นเครื่องมือสแกนช่องโหว่แบบโอเพ่นซอร์สใหม่ที่ออกแบบมาเพื่อเสริมความปลอดภัยให้กับ Large Language Models (LLMs) จากภัยคุกคามเชิงรุกที่เพิ่มขึ้น พัฒนาโดย Praetorian โดย Augustus มีเป้าหมายเพื่อเชื่อมช่องว่างระหว่างเครื่องมือวิจัยทางวิชาการกับการทดสอบความปลอดภัยระดับ Production ด้วยโซลูชันแบบไบนารีเดี่ยวที่สามารถเปิดใช้งานการโจมตีเชิงรุกมากกว่า 210 รูปแบบ กับผู้ให้บริการ LLM 28 ราย เครื่องมือนี้สร้างขึ้นด้วยภาษา Go ทำให้ขจัดปัญหาด้าน Dependency Hell ที่มักพบในเครื่องมือ Python และใช้คุณสมบัติ Concurrency ของ Go ในการสแกนแบบขนานขนาดใหญ่ ทำให้ทำงานได้รวดเร็วและใช้ทรัพยากรอย่างมีประสิทธิภาพมากขึ้น นอกจากนี้ยังมีระบบ ‘Buff’ ที่ช่วยให้ผู้ทดสอบสามารถปรับเปลี่ยนการโจมตีได้แบบไดนามิก เพื่อทดสอบความแข็งแกร่งของระบบป้องกันความปลอดภัยของโมเดลต่อข้อมูลที่ถูกบิดเบือน Augustus เป็นส่วนหนึ่งของชุดเครื่องมือโอเพ่นซอร์ส ’12 Caesars’ ของ Praetorian และพร้อมใช้งานภายใต้ไลเซนส์ Apache 2.0

Severity: สูง

System Impact:

• Large Language Models (LLMs)
• ผู้ให้บริการ LLM 28 ราย (เช่น OpenAI, Anthropic, Azure, AWS Bedrock, Google Vertex AI)
• Local Inference Engines (เช่น Ollama)
• Continuous Integration/Continuous Deployment (CI/CD) pipelines

Technical Attack Steps:

1. ออกแบบ Prompt ที่ซับซ้อนเพื่อหลีกเลี่ยงตัวกรองความปลอดภัยของ LLM (Jailbreaks)
2. ฉีด Prompt ที่เป็นอันตรายเพื่อแทนที่คำสั่งของระบบ โดยใช้การเข้ารหัสเพื่อบิดเบือนข้อมูล (Prompt Injection)
3. พยายามดึงข้อมูลที่ละเอียดอ่อน เช่น PII, API Key หรือสร้างข้อมูลการฝึกอบรมของ LLM ขึ้นมาใหม่ (Data Extraction)
4. สร้างการโจมตีแบบ Gradient-based และ Logic bombs เพื่อทำให้การให้เหตุผลของโมเดลสับสน (Adversarial Examples)
5. ใช้การปรับเปลี่ยนข้อมูลแบบไดนามิก (‘Buffs’) เช่น การถอดความ การแปลภาษา (เช่น Zulu หรือ Scots Gaelic) หรือการเข้ารหัสในรูปแบบบทกวี เพื่อซ่อนข้อมูลป้อนเข้าและทดสอบตัวกรองความปลอดภัยที่เปราะบาง

Recommendations:

Short Term:

• นำ Augustus เข้ามาใช้ในกระบวนการทดสอบความปลอดภัยสำหรับ LLM ขององค์กร
• ใช้โหมดการโจมตีมากกว่า 210 รูปแบบของเครื่องมือเพื่อระบุช่องโหว่เร่งด่วน
• ให้ความสำคัญกับการทดสอบกับเทคนิคการโจมตีเชิงรุกที่โดดเด่น เช่น Jailbreaks และ Prompt Injection

Long Term:

• นำแนวทางการทดสอบความปลอดภัย LLM ที่แข็งแกร่งมาใช้ โดยเปลี่ยนจากเครื่องมือเชิงวิชาการไปสู่โซลูชันระดับ Production
• ทดสอบ LLM อย่างต่อเนื่องกับภัยคุกคามเชิงรุกที่เปลี่ยนแปลงไป โดยใช้ความสามารถในการแปลงข้อมูลแบบไดนามิก (‘Buffs’) ของเครื่องมือ
• รวมการสแกนช่องโหว่ LLM เข้ากับ CI/CD pipelines เพื่อให้มั่นใจถึงความปลอดภัยอย่างต่อเนื่อง
• ทบทวนและอัปเดตมาตรการรักษาความปลอดภัยสำหรับ LLM เป็นประจำ โดยเฉพาะที่เกี่ยวข้องกับการดึงข้อมูลและตัวอย่างเชิงรุก
• ใช้ประโยชน์จากเครื่องมือโอเพ่นซอร์ส เช่น Augustus เพื่อส่งเสริมระบบนิเวศ Generative AI ที่ปลอดภัยยิ่งขึ้น

Source: https://cybersecuritynews.com/augustus-llm-vulnerability-scanner/