Chatbot AI Rentan Terhadap Serangan Injeksi Memori

Para peneliti telah menemukan cara baru untuk memanipulasi chatbot AI, yang menimbulkan kekhawatiran tentang keamanan model AI dengan memori.

Serangan ini, yang disebut MINJA (Memory INJection Attack), dapat dilakukan hanya dengan berinteraksi dengan sistem AI seperti pengguna biasa, tanpa perlu mengakses backend-nya, seperti yang pertama kali dilaporkan oleh The Register.

Dikembangkan oleh peneliti dari Michigan State University, University of Georgia, dan Singapore Management University, MINJA bekerja dengan meracuni memori AI melalui petunjuk yang menyesatkan. Setelah chatbot menyimpan input menipu ini, mereka dapat mengubah respons masa depan untuk pengguna lain.

“Saat ini, agen AI biasanya mencakup bank memori yang menyimpan tugas kueri dan eksekusi berdasarkan umpan balik manusia untuk referensi masa depan,” jelas Zhen Xiang, seorang profesor asisten di University of Georgia, seperti dilaporkan oleh The Register.

“Sebagai contoh, setelah setiap sesi ChatGPT, pengguna dapat memberikan penilaian positif atau negatif secara opsional. Dan penilaian ini dapat membantu ChatGPT untuk memutuskan apakah informasi sesi akan dimasukkan ke dalam memori atau database mereka,” tambahnya.

Para peneliti menguji serangan tersebut pada model AI yang didukung oleh GPT-4 dan GPT-4o OpenAI, termasuk asisten belanja web, chatbot kesehatan, dan agen penjawab pertanyaan.

The Register melaporkan bahwa mereka menemukan bahwa MINJA dapat menyebabkan gangguan yang serius. Misalnya, dalam sebuah chatbot kesehatan, MINJA mengubah rekam medis pasien, menghubungkan data satu pasien dengan pasien lainnya. Di toko online, ia menipu AI hingga menunjukkan produk yang salah kepada pelanggan.

“Sebaliknya, penelitian kami menunjukkan bahwa serangan ini bisa dilakukan hanya dengan berinteraksi dengan agen seperti pengguna biasa,” kata Xiang, seperti dilaporkan oleh The Register. “Setiap pengguna dengan mudah dapat mempengaruhi eksekusi tugas untuk pengguna lain. Oleh karena itu, kami mengatakan serangan kami merupakan ancaman nyata bagi agen LLM,” tambahnya.

Serangan ini sangat mengkhawatirkan karena mampu mengabaikan langkah-langkah keamanan AI yang ada. Para peneliti melaporkan tingkat keberhasilan sebesar 95% dalam menyuntikkan informasi yang menyesatkan, menjadikannya kerentanan serius yang harus diatasi oleh pengembang AI.

Seiring semakin umumnya model AI dengan memori, studi ini menyoroti kebutuhan akan perlindungan yang lebih kuat untuk mencegah aktor jahat memanipulasi chatbot dan menyesatkan pengguna.