Chatbot AI Rentan Terhadap Serangan Injeksi Memori

Image by Mika Baumeister, from Unsplash

Chatbot AI Rentan Terhadap Serangan Injeksi Memori

Waktu baca: 2 Mnt

Para peneliti telah menemukan cara baru untuk memanipulasi chatbot AI, yang menimbulkan kekhawatiran tentang keamanan model AI dengan memori.

Sedang terburu-buru? Berikut Fakta Singkatnya!

  • Peneliti dari tiga universitas mengembangkan MINJA, menunjukkan keberhasilan tinggi dalam melakukan penipuan.
  • Serangan tersebut mengubah tanggapan chatbot, mempengaruhi rekomendasi produk dan informasi medis.
  • MINJA mengabaikan langkah-langkah keamanan, mencapai Tingkat Keberhasilan Injeksi 95% dalam tes.

Serangan ini, yang disebut MINJA (Memory INJection Attack), dapat dilakukan hanya dengan berinteraksi dengan sistem AI seperti pengguna biasa, tanpa perlu mengakses backend-nya, seperti yang pertama kali dilaporkan oleh The Register.

Dikembangkan oleh peneliti dari Michigan State University, University of Georgia, dan Singapore Management University, MINJA bekerja dengan meracuni memori AI melalui petunjuk yang menyesatkan. Setelah chatbot menyimpan input menipu ini, mereka dapat mengubah respons masa depan untuk pengguna lain.

“Saat ini, agen AI biasanya mencakup bank memori yang menyimpan tugas kueri dan eksekusi berdasarkan umpan balik manusia untuk referensi masa depan,” jelas Zhen Xiang, seorang profesor asisten di University of Georgia, seperti dilaporkan oleh The Register.

“Sebagai contoh, setelah setiap sesi ChatGPT, pengguna dapat memberikan penilaian positif atau negatif secara opsional. Dan penilaian ini dapat membantu ChatGPT untuk memutuskan apakah informasi sesi akan dimasukkan ke dalam memori atau database mereka,” tambahnya.

Para peneliti menguji serangan tersebut pada model AI yang didukung oleh GPT-4 dan GPT-4o OpenAI, termasuk asisten belanja web, chatbot kesehatan, dan agen penjawab pertanyaan.

The Register melaporkan bahwa mereka menemukan bahwa MINJA dapat menyebabkan gangguan yang serius. Misalnya, dalam sebuah chatbot kesehatan, MINJA mengubah rekam medis pasien, menghubungkan data satu pasien dengan pasien lainnya. Di toko online, ia menipu AI hingga menunjukkan produk yang salah kepada pelanggan.

“Sebaliknya, penelitian kami menunjukkan bahwa serangan ini bisa dilakukan hanya dengan berinteraksi dengan agen seperti pengguna biasa,” kata Xiang, seperti dilaporkan oleh The Register. “Setiap pengguna dengan mudah dapat mempengaruhi eksekusi tugas untuk pengguna lain. Oleh karena itu, kami mengatakan serangan kami merupakan ancaman nyata bagi agen LLM,” tambahnya.

Serangan ini sangat mengkhawatirkan karena mampu mengabaikan langkah-langkah keamanan AI yang ada. Para peneliti melaporkan tingkat keberhasilan sebesar 95% dalam menyuntikkan informasi yang menyesatkan, menjadikannya kerentanan serius yang harus diatasi oleh pengembang AI.

Seiring semakin umumnya model AI dengan memori, studi ini menyoroti kebutuhan akan perlindungan yang lebih kuat untuk mencegah aktor jahat memanipulasi chatbot dan menyesatkan pengguna.

Anda suka artikel ini? Beri Rating!
Saya sangat tidak menyukainya Saya tidak begitu menyukainya Okelah Cukup bagus! Suka sekali!

Kami senang kamu menyukai artikel kami!

Sebagai pembaca yang budiman, maukah Anda memberikan ulasan di Trustpilot? Ini tidak lama dan sangat berarti bagi kami. Terima kasih sekali!

Beri kami peringkat di Trustpilot
0 Rating dari 0 pengguna
Judul
Komentar
Terima kasih atas feedback Anda
Loader
Please wait 5 minutes before posting another comment.
Comment sent for approval.

Berikan komentar

Loader
Loader Tampilkan selengkapnya...