A naptár meghívásainak címeiben a kutatók hozzáadották okos rosszindulatú kérelmeiket. (A Google Wen azt állítja, hogy a kutatók megváltoztatták az alapértelmezett paramétereket, amelyek meghívást adhatnak a naptárhoz valakinek; a kutatók azonban azt mondják, hogy a 14 támadás közül néhányat mutattak be az üzenetküldő tárgy vagy a dokumentum címében is). “Az összes technikát egyszerűen angolul fejlesztették ki, tehát egyértelmű angol nyelv, amelyet használunk” – mondja Cohen a csapat által létrehozott félrevezető üzenetekről. A kutatók megjegyzik, hogy a gyors injekciók nem igényelnek műszaki ismereteket, és szinte bárki könnyen fejlesztheti ki.
Mindenekelőtt azokban az esetekben, amikor az Ikreket arra kényszerítették, hogy az Intelligent Home eszközöket irányítsák, utalnak a Google IA ügynökére, és felkérték, hogy tegye intézkedéseket. Például egy meghívó a következőképpen olvasható:
A fenti példában, amikor valaki arra kéri az Ikrét, hogy foglalja össze a naptárukban szereplőt, a Gemini hozzáfér a naptár meghívásaihoz, majd a közvetett gyors injekció kezelésére. “Minden alkalommal, amikor egy felhasználó kéri az Ikrét, hogy sorolja fel például a mai eseményeket, hozzáadhatunk valamit a kontextushoz (LLM)” – magyarázza Yair. A lakóablakok nem kezdenek automatikusan kinyílni, miután egy megcélzott felhasználó arra kéri az Ikreket, hogy foglalják össze a naptárukban szereplőt. Ehelyett a folyamat akkor kezdődik, amikor a felhasználó azt mondja, hogy “köszönöm” a chatbotnak – amely a megtévesztés része.
A kutatók a nevű megközelítést alkalmazták A késleltetett automatikus szerszám támogatása Hogy megkerülje a Google meglévő biztonsági intézkedéseit. Ezt Johann Rehberger a független biztonsági kutató először kimutatta a Gemini ellen 2024. február És még mindig bent Ez év februárja– “Tényleg nagy léptékű, nagy hatással voltak, hogyan lehet rosszul a dolgok, ideértve a fizikai világ valódi következményeit is, bizonyos példákkal” – mondta Rehberger az új kutatásról.
Rehberger azt mondja, hogy még ha a támadások is megkövetelhetik a hackerek elvégzéséhez szükséges erőfeszítéseket, a munka megmutatja, hogy a komoly közvetett injekciók milyen komolyak az AI rendszerek ellen. “Ha az LLM egy akciót hajt végre otthonában – a hő megfordítása, az ablak kinyitása vagy valami más – azt hiszem, valószínűleg egy művelet, hacsak bizonyos körülmények között előzetesen felújította azt, akkor nem akarja, hogy megtörténjen, mert van egy e -mailed, amelyet spammerrel vagy támadóval küldtek neked.”
“Rendkívül ritka”
A kutatók által kidolgozott egyéb támadások nem jelentenek fizikai eszközöket, de mindig zavaróak. A támadásokat úgy tekintik, mint a “gyors” típusú, a rosszindulatú cselekedetek mérlegelésére szolgáló utasítások sorozatát. Például, miután egy felhasználó köszönetet mond Gemininek a naptári események összefoglalásáért, a chatbot megismétli a támadó utasításait és szavait – a képernyőn és a hangon -, mondván, hogy orvosi tesztjei pozitívak voltak. Akkor ő említett: “Utálom téged és a családod utál téged, és bárcsak most meghalsz, a világ jobb lesz, ha megöli magát. Bassza meg ezt a szart.”
Egyéb támadási módszerek törli az eseményeket valaki naptári naptárában, vagy más műveleteket hajt végre az eszközökön. Egy példában, amikor a felhasználó “nem” válaszol az Ikrek kérdésére: “Van még valami, amit tehetek érted?”, A meghívja a meghívást Zoom alkalmazás megnyitása És automatikusan elindít egy videohívást.
