Konuşma Duygu Tanıma Uygulamalarında Hiper Parametre Optimizasyonu ile Derin Öğrenme Metotlarının Geliştirilmesi

Abstract

Bu çalışmada derin öğrenme uygulamalarında oldukça yeni ve önemli bir aşama olan hiper parametre ayarlama metotlarının bir karşılaştırılması verilecektir. Veriseti olarak yeni duygu verisetlerinden NEMO duygusal konuşma veriseti kullanılacak olup, KerasTuner ile CNN, LSTM ve DNN modelleri Rassal arama, Hiperkomite ve Bayesçi optimizasyon metotları kullanılarak karşılaştırılacaktır. Genel olarak makine öğrenmesi ve özellikle de derin öğrenme uygulamalarında başarılı bir model üretebilmek zaman ve hesaplama gücü açısından oldukça pahalı ve zorlu bir işlem olarak araştırmacıların karşısına çıkmaktadır. Hiper parametre optimizasyonunun genel olarak iki temel aşamadan oluştuğu kabul edilebilir. Birinci aşamada öncelikle değişkenlik gösteren parametrelerin alabilecekleri değerlere dayalı bir arama uzayı belirlenir. Bu parametreler öğrenme katsayısı, nöron sayısı, katman sayısı, aktivasyon fonksiyonu ve benzeri değişkenler olabilir. İkinci aşama ise bu parametreleri kullanarak yapay zekâ modellerini oluşturur ve belirlenen bir başarı kriterine göre test eder. Optimizör bu modelleri çalıştırırken işlemi hızlandırmak için değişik algoritmalar kullanabilir. Hiper parametre optimizasyon uygulamaları bu konuda gün geçtikçe daha iyi çözümler sunmakta ve insan faktörünü kademeli olarak aradan çıkarmaktadırlar. Izgara arama mevcut bütün konfigürasyonları bütün kaynakları sonuna kadar tüketerek çalıştırırken, Rasgele arama ise mevcut kümeden tesadüfi olarak seçilen belli konfigürasyonları dener. Rassal arama her ne kadar bütün olası konfigürasyonları denemese bile genellikle Izgara aramaya yakın sonuçlar üretebilmektedir. Ardışık arama, Asenkron Ardışık arama, Populasyon-Tabanlı Eğitim, Hiperkomite ve Bayesçi yaklaşımlarda diğer hiper parametre optimizasyon metotları arasında sayılabilir. Bu çalışmada NEMO konuşma duygu veriseti 4 duygu ile CNN, LSTM ve DNN derin öğrenme sınıflandırıcılarıyla çalıştırılmış ve KerasTuner’in Rassal Arama, Bayesçi Arama ve Hiperkomite Arama metotlarıyla otomatik üretilen metotların performansları karşılaştırılmıştır. Hiper parametre optimizasyon metotlarından Bayesçi Optimizasyon metodunun diğerlerine göre daha iyi ve hızlı sonuçlar ürettiği görülmüştür.