مشاهده توییت های دیگر

OpenAI رسما اعتراف کرد که Atlas (مرورگر هوشمندش) هیچ‌وقت به‌طور کامل در برابر Prompt Injection مصون نمیشه. مشکل از ریشه و معماریه؛ وقتی LLM توانایی تفکیک دیتای ورودی (Data) از دستورات اجرایی (Instruction) رو نداره، هر فیلد متنی توی یک وب‌سایت می‌تونه حکم Trojan رو داشته باشه.

هکر یه دستور مخفی لای متن یا کدهای سایت می‌ذاره، مدل هم چون قدرت تشخیص نداره، فکر می‌کنه این دستور مستقیم از طرف کاربر صادر شده. نتیجه؟ لو رفتن Sessionها، کوکی‌ها و اطلاعات حساس، اونم در حالی که شما فکر می‌کنید Agent داره کارش رو درست انجام میده!

تا وقتی پارادایم معماری مدل‌ها برای امنیت بازنگری نشه، سپردن کارهای حساس و دسترسی به اکانت‌ها به این Agentها یعنی بازی با آتیش. Productivity جذابه، ولی نه به قیمت امنیت دیتای شخصی.