Clueweb09 ve clueweb12 veri kümelerinin waterloo spam sıralamalarinin retrospektif olarak değerlendirilmesi

Abstract

ClueWeb09 ve ClueWeb12, Web sayfalarından oluşan en büyük iki veri kümesidir ve 2009'dan 2017'ye kadar birçok TREC görevinde kullanılmıştır. Her yıl yaklaşık 50 yeni sorgu yayınlanmış, bu sorgulara karşılık gelen Web sayfaları havuzu ilgili, ilgisiz ve spam olarak değerlendiriciler tarafından etiketlenmiştir. ClueWeb korpora için önemli miktarda sorgu uygunluk yargısı toplanmıştır. Ticari arama motorlarını kasten kandırmak için tasarlanan spam sayfaları, gerçek Web'in olduğu gibi ClueWeb korporanın da bir parçasıdır ve Web bilgi erişim sistemlerinin spam sayfalarla başa çıkması gerekir. ClueWeb09 veri kümesindeki her sayfanın spam olma değerini belirleyen dört farklı (Fusion, Britney, GroupX, UK2006) spam sıralaması yayınlanmıştır. Bu spam sıralamalarını kullanarak, belirlenen bir eşik değeri için ClueWeb09'daki dokümanları spam ya da non-spam olarak sınıflandırmak mümkündür. Bu tezde, birçok TREC Web Tracks ve Tasks Tracks sorgu uygunluk yargıları kullanılarak, ClueWeb korpora spam sıralamalarının "intrinsic" ve retrospektif değerlendirmesi sunulmuştur. Herhangi bir sorgu için ilgili olarak etiketlenen Web sayfalarının spam olamayacağı varsayılarak, ikili sınıflandırma için spam ya da ilgili olarak etiketlenen dokümanlardan bir eğitim seti oluşturulmuştur. Evrensel sınıflandırma ölçüm metrikleri kullanılarak yapılan deneylerde elde edilen "intrinsic" değerlendirme sonuçlarının, önceki araştırmacılarca gerçekleştirilen "extrinsic" değerlendirme sonuçlarıyla uyumlu olduğu bulunmuştur. Yapılan analizler, GroupX'in ilgili dokümanlar ile spam dokümanları ayırt etmede en güçlü yöntem olduğunu ortaya koymuştur. Ayrıca, ClueWeb12 spam sıralamasının ClueWeb09 kadar iyi performans göstermediği tespit edilmiştir.