DOLAR
35,9677
EURO
37,1790
ALTIN
3.307,49
BIST
9.951,65
Adana Adıyaman Afyon Ağrı Aksaray Amasya Ankara Antalya Ardahan Artvin Aydın Balıkesir Bartın Batman Bayburt Bilecik Bingöl Bitlis Bolu Burdur Bursa Çanakkale Çankırı Çorum Denizli Diyarbakır Düzce Edirne Elazığ Erzincan Erzurum Eskişehir Gaziantep Giresun Gümüşhane Hakkari Hatay Iğdır Isparta İstanbul İzmir K.Maraş Karabük Karaman Kars Kastamonu Kayseri Kırıkkale Kırklareli Kırşehir Kilis Kocaeli Konya Kütahya Malatya Manisa Mardin Mersin Muğla Muş Nevşehir Niğde Ordu Osmaniye Rize Sakarya Samsun Siirt Sinop Sivas Şanlıurfa Şırnak Tekirdağ Tokat Trabzon Tunceli Uşak Van Yalova Yozgat Zonguldak
İstanbul
Hafif Yağmurlu
6°C
İstanbul
6°C
Hafif Yağmurlu
Pazar Az Bulutlu
6°C
Pazartesi Yağmurlu
7°C
Salı Yağmurlu
7°C
Çarşamba Çok Bulutlu
9°C

Dolaylı istem enjeksiyonu: İnsanlar yapay sinir ağlarını nasıl manipüle edebilir?

Kaspersky tarafından yapılan yeni bir araştırma, ChatGPT üzere büyük lisan modellerinin (LLM) çıktılarını değiştirmek ve yapay zeka dayanaklı sohbet botlarını aramak için kullanılan bir teknik olan “Dolaylı istem enjeksiyonu” eğiliminin arttığını ortaya koydu.

Dolaylı istem enjeksiyonu: İnsanlar yapay sinir ağlarını nasıl manipüle edebilir?
14.08.2024 12:36
8
A+
A-

Şimdiye dek sohbet robotları tarafından gerçekleştirilen önemli manada yıkıcı bir harekete rastlanmamış olsa da, kelam konusu atağın berbata kullanılabilme potansiyeli bulunuyor.

 

LLM’ler, evrak tahlilinden işe alıma, hatta tehdit araştırmalarına kadar çeşitli uygulamalarda kullanılan güçlü araçlar haline geldi. Lakin Kaspersky araştırmacıları, makûs niyetli bireylerin web sitelerine ve çevrimiçi evraklara bâtın talimatlar yerleştirebildiği bir güvenlik açığının internette kamuya açık ortamlarda istismar edildiğini keşfetti. Bu talimatlar daha sonra LLM tabanlı sistemler tarafından algılanabiliyor ve potansiyel olarak arama sonuçlarını yahut sohbet robotu karşılıklarını etkileyebiliyor.

 

Çalışma, dolaylı süratli enjeksiyon için aşağıdaki kullanım alanlarını belirledi:

 

  1. İK ile ilgili enjeksiyonlar: İş arayanlar, işe alım algoritmalarını manipüle etmek ve yapay zeka sistemleri tarafından önceliklendirme sağlamak için özgeçmişlere özel istemler yerleştiriyor. Saldırıyı gerçek şahısların denetiminden gizlemek için küçük yazı tipleri kullanmak yahut metin rengini art planla eşleştirmek üzere teknikler uygulanıyor.
  2. Reklam enjeksiyonları: Reklam verenler, arama sohbet robotlarını etkileyerek eserler hakkında olumlu yorumlar oluşturmalarını sağlamak için açılış sayfalarına enjeksiyonlar yerleştiriyor.
  3. Protesto maksatlı enjeksiyon: LLM’lerin yaygın kullanımına karşı çıkan bireyler, şahsî web sitelerine ve toplumsal medya profillerine protesto yönlendirmeleri yerleştiriyor ve hususa dair muhalefetlerini mizahi, önemli yahut agresif talimatlarla tabir ediyor.
  4. Hakaret odaklı enjeksiyon: Sosyal medyada kullanıcılar, çoklukla şiirler, ASCII sanatı yahut siyasi hususlarda görüşler üretme talepleriyle, bir hakaret biçimi olarak yahut spam botlarını bozmak için istem enjeksiyonunu kullanabiliyor.

 

Çalışma, finansal çıkar üzere berbat niyetli kullanımlara dair rastgele bir ispat bulamamış olsa da, gelecekteki potansiyel riskleri vurgulamaktan geri durmuyor. Örneğin saldırganlar yanlış bilgi yaymak yahut hassas dataları şirket dışına sızdırmak için LLM’leri manipüle edebilirler.

 

Kaspersky Makine Tahsili Teknolojisi Araştırma Takımı Araştırma Geliştirme Küme Müdürü Vladislav Tushkanov, mevzuyla ilgili olarak şunları söylüyor: “Dolaylı istem enjeksiyonu, yapay zeka çağında sağlam güvenlik tedbirlerine duyulan muhtaçlığı vurgulayan yeni bir güvenlik açığını simgeliyor. Bu riskleri anlayarak ve uygun muhafaza tedbirlerini uygulayarak, LLM’lerin inançlı ve sorumlu bir halde kullanılmasını sağlayabiliriz.” 

 

Kaspersky, büyük lisan modellerine (LLM) dayalı mevcut ve gelecekteki sistemlerinizi korumak için aşağıdaki tavsiyeleri dikkate almanızı öneriyor:

 

  • LLM tabanlı sistemlerinizdeki potansiyel güvenlik açıklarını belirleyin ve süratli enjeksiyon akınlarıyla alakalı riskleri değerlendirin.
  • Pazarlama botları radikal açıklamalar yapmaları için manipüle edilebileceğinden ve bu durum potansiyel prestij kaybına yol açabileceğinden, prestijle ilgili risklerin farkında olun.
  • Korumanın lakin belirli bir yere kadar mümkün olabileceğini kabullenin. Bilhassa multimodal enjeksiyonlar üzere karmaşık ataklarda süratli enjeksiyona karşı tam muhafaza sağlamak mümkün değildir.
  • Tam bir güvenlik sunmasalar da, LLM’lerin girdi ve çıktılarını filtrelemek için girdi ve çıktı denetleme araçlarını kullanabilirsiniz.
  • LLM sistemlerinde güvenilmeyen yahut doğrulanmamış içeriğin işlenmesinden kaynaklanan risklerin var olabileceğinin farkında olun ve kabullenin.
  • İstenmeyen aksiyonları önlemek için yapay zeka sistemlerinin karar verme yeteneklerini kısıtlayın.
  • LLM tabanlı sistemleri çalıştıran tüm bilgisayarların ve sunucuların aktüel güvenlik araçları ve uygulamaları ile korunduğundan emin olun.

Kaynak: (BYZHA) Beyaz Haber Ajansı

Yorumlar

Henüz yorum yapılmamış. İlk yorumu yukarıdaki form aracılığıyla siz yapabilirsiniz.

web tasarım renault yedek parça ankara ingilizce kurs çelik bariyer thermowell balkan turu kazak su jeti iç mimar yutma güçlüğü utts süt sağım makineleri özel engelli bakım merkezleri renault yedek parça turkish plastic manufacturers şanlıurfa trafo fabrikaları e-imza yenileme orient saat Ford yedek parça hollow block machine almanca kursu