Apple'ın CSAM sistemi aldatıldı, ancak şirketin iki koruması var

Güncelleme: Apple, sunucunun ikinci bir denetiminden bahsetti ve profesyonel bir bilgisayarlı görme şirketi, bunun ne olabileceğinin bir olasılığını ana hatlarıyla açıkladı - aşağıdaki "İkinci denetim nasıl çalışabilir" bölümünde açıklanıyor.
Geliştiriciler, parçalarını tersine mühendislikle uyguladıktan sonra, Apple CSAM sisteminin ilk sürümü, masum bir görüntüyü işaretlemek için etkili bir şekilde kandırıldı.Ancak Apple, bunun gerçek hayatta olmasını önlemek için ek korumalara sahip olduğunu belirtti.
En son gelişme, NeuralHash algoritmasının açık kaynak geliştirici web sitesi GitHub'da yayınlanmasından sonra gerçekleşti, herkes deneyebilir…
Tüm CSAM sistemleri, Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi (NCMEC) gibi kuruluşlardan bilinen çocuk cinsel istismarı materyallerinin bir veritabanını içe aktararak çalışır.Veritabanı, görüntülerden elde edilen karma veya dijital parmak izleri şeklinde sağlanır.
Çoğu teknoloji devi buluta yüklenen fotoğrafları tarasa da Apple, depolanan fotoğrafın bir karma değerini oluşturmak için müşterinin iPhone'unda NeuralHash algoritmasını kullanır ve ardından bunu CSAM karma değerinin indirilen kopyasıyla karşılaştırır.
Dün bir geliştirici Apple'ın algoritmasını tersine çevirdiğini ve kodu GitHub'a yayınladığını iddia etti - bu iddia Apple tarafından etkin bir şekilde doğrulandı.
GitHib'in piyasaya sürülmesinden birkaç saat sonra, araştırmacılar algoritmayı başarıyla kullanarak kasıtlı bir yanlış pozitif - aynı hash değerini üreten tamamen farklı iki görüntü oluşturdular.Buna çarpışma denir.
Bu tür sistemler için, her zaman bir çarpışma riski vardır, çünkü karma, elbette görüntünün büyük ölçüde basitleştirilmiş bir temsilidir, ancak birinin görüntüyü bu kadar hızlı oluşturabilmesi şaşırtıcıdır.
Buradaki kasıtlı çarpışma sadece bir kavram kanıtıdır.Geliştiricilerin, gerçek zamanlı sistemde yanlış pozitiflerin oluşturulmasını gerektiren CSAM karma veritabanına erişimi yoktur, ancak bu, çarpışma saldırılarının ilke olarak nispeten kolay olduğunu kanıtlar.
Apple, algoritmanın kendi sisteminin temeli olduğunu etkili bir şekilde doğruladı, ancak anakarta bunun son sürüm olmadığını söyledi.Şirket ayrıca hiçbir zaman gizli tutma niyetinde olmadığını da belirtti.
Apple, bir e-postada Anakarta, kullanıcının GitHub'da analiz ettiği sürümün, iCloud Photo CSAM algılaması için kullanılan son sürüm değil, genel bir sürüm olduğunu söyledi.Apple, algoritmayı da açıkladığını söyledi.
Bir Apple belgesi, "NeuralHash algoritması [...] imzalı işletim sistemi kodunun bir parçasıdır [ve] güvenlik araştırmacıları davranışının açıklamaya uygun olduğunu doğrulayabilir" diye yazdı.
Şirket, iki adım daha olduğunu söylemeye devam etti: kendi sunucusunda ikincil (gizli) bir eşleştirme sistemi çalıştırma ve manuel inceleme.
Apple ayrıca, kullanıcılar 30 eşleşme eşiğini geçtikten sonra, Apple'ın sunucularında çalışan ikinci bir genel olmayan algoritmanın sonuçları kontrol edeceğini belirtti.
"Bu bağımsız karma, hatalı NeuralHash'in, CSAM olmayan görüntülerin düşmanca girişimi nedeniyle cihazdaki şifreli CSAM veritabanıyla eşleşmesi ve eşleşme eşiğini aşması olasılığını reddetmek için seçildi."
Roboflow'dan Brad Dwyer, bir çarpışma saldırısı için konsept kanıtı olarak yayınlanan iki görüntü arasında kolayca ayrım yapmanın bir yolunu buldu.
Bu görüntülerin benzer fakat farklı bir sinirsel özellik çıkarıcı OpenAI'nin CLIP'inde nasıl göründüğünü merak ediyorum.CLIP, NeuralHash'e benzer şekilde çalışır;bir görüntü alır ve görüntünün içeriğiyle eşleşen bir dizi özellik vektörü oluşturmak için bir sinir ağı kullanır.
Ancak OpenAI'nin ağı farklıdır.Görüntüler ve metin arasında eşleme yapabilen genel bir modeldir.Bu, insan tarafından anlaşılabilir görüntü bilgilerini çıkarmak için kullanabileceğimiz anlamına gelir.
Aynı zamanda kandırılıp kandırılmadığını görmek için yukarıdaki iki çarpışma görüntüsünü CLIP üzerinden çalıştırdım.Kısa cevap: hayır.Bu, Apple'ın algılanan CSAM görüntülerine gerçek mi yoksa sahte mi olduklarını belirlemek için ikinci bir özellik çıkarıcı ağı (CLIP gibi) uygulayabilmesi gerektiği anlamına gelir.Aynı anda iki ağı aldatan görüntüler oluşturmak çok daha zordur.
Son olarak, daha önce belirtildiği gibi, görüntüler CSAM olduklarını doğrulamak için manuel olarak incelenir.
Bir güvenlik araştırmacısı, tek gerçek riskin, Apple'ı kızdırmak isteyen herkesin, insan incelemecilere yanlış pozitifler sağlayabilmesi olduğunu söyledi.
“Apple aslında bu sistemi tasarladı, bu nedenle karma işlevinin gizli tutulması gerekmiyor, çünkü 'CSAM olarak CSAM olmayan' ile yapabileceğiniz tek şey Apple'ın yanıt ekibini bazı gereksiz görüntülerle rahatsız etmek, onlar ortadan kaldırmak için filtreler uygulayana kadar. Analiz Boru hattındaki bu çöpler yanlış pozitifler," Berkeley, California Üniversitesi Uluslararası Bilgisayar Bilimleri Enstitüsü'nde kıdemli araştırmacı Nicholas Weaver, Anakart'a çevrimiçi bir sohbette söyledi.
Gizlilik, günümüz dünyasında artan bir endişe konusudur.Yönergelerimizde yer alan gizlilik, güvenlik vb. ile ilgili tüm raporları takip edin.
Ben Lovejoy, İngiliz teknik yazar ve 9to5Mac için AB editörüdür.Daha kapsamlı incelemeler almak için zaman içinde Apple ürünleriyle olan deneyimini keşfeden sütunları ve günlük makaleleriyle tanınır.Ayrıca roman yazıyor, iki teknik gerilim, birkaç kısa bilim kurgu filmi ve bir rom-com var!


Gönderim zamanı: Ağu-20-2021