Geliştirilmiş yapay sinir ağı algoritmaları ve uygulamaları

Abstract

Bu tez çalışmasında, ilk önce deterministik kuadratik performans fonksiyonu durumunda momentumlu gradyan düşümü algoritmasının kararlılığı ve yakınsama hızı incelenmiştir. Teorik incelemeler sonucunda, hızlı yakınsamayı sağlayan etkin öğrenme oranı ve momentum faktörü formülleri, Hessian'ın en büyük ve en küçük özdeğerlerini kullanarak belirlenmiştir. Bu yaklaşım rassal olarak oluşturulan kuadratik test problemleri üzerinde denenmiş ve etkin öğrenme parametreleriyle çalışan algoritmanın diğer geleneksel momentumlu gradyan düşümü algoritmalarından daha üstün performans gösterdiği gözlenmiştir. Kuadratik performans fonksiyonu için elde edilen etkin öğrenme parametreleri, hatanın, ağ ağırlıklarının herhangi bir doğrusal olmayan fonksiyonuolduğu genel duruma uyarlanmıştır. Genel durumda etkin parametrelerle çalışacak momentumlu gradyan düşümü algoritmasının dört farklı versiyonu önerilmiştir. Geliştirilen algoritmalar gerçek veri kümesine sahip güncel test problemleri üzerinde diğergeleneksel gradyan düşümü algoritmaları ile karşılaştırılmıştır. Etkin öğrenme parametreli algoritmaların, diğer geleneksel gradyan düşümü algoritmalara göre genelde daha iyi yakınsama performansı gösterdiği gözlenmiştir.