Hızlı Dolaylı Enjeksiyon: İnsanlar Yapay Sinir Ağlarını Nasıl Yönetebilir? – TEKNOLOJİ

Şu ana kadar chatbotların ciddi anlamda yıkıcı bir eylemi gözlemlenmese de söz konusu saldırının suistimal edilebileceği belirtiliyor. Yüksek Lisans'lar, belge analizinden işe alıma ve tehdit araştırmasına kadar çeşitli uygulamalarda kullanılan güçlü araçlar haline geldi. Ancak Kaspersky araştırmacıları, saldırganların web sitelerine ve çevrimiçi belgelere gizli talimatlar ekleyebileceği halka açık İnternet ortamlarında bir güvenlik açığından yararlanıldığını keşfetti. Bu talimatlar daha sonra LLM tabanlı sistemler tarafından tespit edilebilir ve potansiyel olarak arama sonuçlarını veya chatbot yanıtlarını etkileyebilir. Çalışma, hızlı dolaylı enjeksiyonun aşağıdaki kullanımlarını belirledi:

1. İnsan kaynakları ile ilgili enjeksiyonlar: İş arayanlar, işe alım algoritmalarını manipüle etmek ve yapay zeka sistemleri tarafından önceliklendirmeye olanak sağlamak için özgeçmişlere özel öneriler koyuyor. Saldırıyı gerçek kişilerin kontrolünden gizlemek için küçük yazı tipleri kullanmak veya metnin rengini arka planla eşleştirmek gibi teknikler kullanılıyor.
2. Reklam enjeksiyonları: Reklamverenler, olumlu ürün incelemeleri oluşturmak amacıyla arama sohbet robotlarını etkilemek için açılış sayfalarına enjeksiyonlar ekler.
3. Protesto enjeksiyonu: Yüksek Lisans'ın yaygın kullanımına karşı çıkan kişiler, kişisel web sitelerinde ve sosyal medya profillerinde protesto mesajları yayınlayarak, konuya karşı olduklarını mizahi, ciddi veya agresif talimatlarla ifade ediyorlar.
4. Hakaret odaklı enjeksiyon: Sosyal medyada kullanıcılar, anlık enjeksiyonu bir tür hakaret olarak veya spam botlarını rahatsız etmek için, genellikle şiir, ASCII sanatı veya siyasi konularda fikir üretme talepleriyle kullanabilirler.

Araştırma, finansal kazanç gibi zararlı kullanımlara dair bir kanıt bulmasa da, gelecekteki potansiyel riskleri vurgulamaktan da çekinmiyor. Örneğin saldırganlar, dezenformasyonu yaymak veya hassas verileri şirket dışına sızdırmak için LLM'leri manipüle edebilir. Kaspersky'nin makine öğrenimi teknolojisi araştırma grubunun Ar-Ge Başkanı Vladislav Tuşkanovşunu belirtiyor: “Hızlı dolaylı enjeksiyon, yapay zeka çağında sağlam güvenlik önlemlerine olan ihtiyacı vurgulayan yeni bir güvenlik açığını simgeliyor. Bu riskleri anlayarak ve uygun önlemleri uygulayarak, Yüksek Lisans'ların güvenli ve sorumlu bir şekilde kullanılmasını sağlayabiliriz.” Kaspersky, mevcut ve gelecekteki Büyük Dil Modeli (LLM) sistemlerini korumak için aşağıdaki önerilerin dikkate alınmasını öneriyor:

• Yüksek Lisans tabanlı sistemlerinizdeki potansiyel güvenlik açıklarını belirleyin ve hızlı enjeksiyon saldırılarıyla ilişkili riskleri değerlendirin.
• Pazarlama botları kapsamlı açıklamalar yapmak üzere manipüle edilebileceğinden ve bu da potansiyel itibar kaybına yol açabileceğinden itibar risklerinin farkında olun.
• Korumanın ancak belirli bir noktaya kadar mümkün olduğunu kabul edin. Özellikle multimodal enjeksiyonlar gibi karmaşık saldırılarda hızlı enjeksiyona karşı tam koruma sağlamak mümkün değildir.
• Tam bir güvenlik sunmasalar da, girdi ve çıktı izleme araçları Yüksek Lisans'ın giriş ve çıkışını filtrelemek için kullanılabilir.
• LLM sistemlerinde güvenilmeyen veya doğrulanmamış içeriğin işlenmesinden kaynaklanan risklerin olabileceğinin bilincinde olun ve kabul edin.
• İstenmeyen eylemleri önlemek için yapay zeka sistemlerinin karar verme yeteneklerini sınırlandırın.
• LLM tabanlı sistemleri çalıştıran tüm bilgisayarların ve sunucuların güncel güvenlik araçları ve uygulamalarıyla korunduğundan emin olun.

Kaynak: (guzelhaber.net) Güzel Haber Masası