CNN yazısında evrişimli sinir ağlarının bir resmi el feneriyle tarar gibi incelediğini anlatmıştık. Fener her seferinde küçük bir kareyi aydınlatır: bir piksel ve onun sağındaki, solundaki, üstündeki, altındaki komşuları. Bu işe yarar, çünkü resimde her pikselin komşuları bellidir ve herkesin komşu sayısı aynıdır.
Şimdi EEG başlığını düşünün. Elektrotlar kafanın üzerinde düzgün bir ızgarada durmaz. Bazısının yakınında dört elektrot vardır, bazısının iki. Üstelik iki elektrodun kafada yan yana durması, beyindeki etkinliklerinin birbirine bağlı olduğu anlamına gelmez. Uzaktaki iki bölge çok sıkı çalışıyor olabilir. Bu tür veriyi en iyi anlatan yapı ızgara değil, bir graftır: elektrotlar düğüm, aralarındaki ilişkiler kenar.
Komşulardan Fikir Almak
Graf evrişimli sinir ağları (GCN) el fenerini bırakır ve daha sosyal bir yöntem kullanır. Bir apartman düşünün. Her dairenin kendi fikri var. Bir toplantıda herkes yalnızca kapı komşularını dinliyor ve kendi fikrini onların fikirleriyle harmanlayıp güncelliyor. Kimin kimin komşusu olduğunu apartmanın krokisi, yani graf belirliyor.
GCN’in bir katmanı tam olarak bunu yapar:
- Her düğüm, komşularının özelliklerini toplar.
- Bunları kendi özelliğiyle birleştirir.
- Öğrenilmiş ağırlıklarla dönüştürüp yeni bir özellik üretir.
Kipf ve Welling’in 2017’de önerdiği bu basit kural, alanın en çok kullanılan yapı taşı oldu.
Bir katmandan sonra her daire kapı komşularının fikrini öğrenmiş olur. İkinci katmandan sonra komşularının komşularını da. Katman ekledikçe bilgi ağ üzerinde dalga dalga yayılır. Tıpkı CNN’de katmanlar ilerledikçe fenerin gördüğü alanın büyümesi gibi.
Krokiyi Kim Çiziyor?
GCN’in başarısı büyük ölçüde grafa bağlıdır. EEG için birkaç seçenek var:
- Fiziksel mesafe: Kafada birbirine yakın elektrotları bağlamak. En basit yol.
- Fonksiyonel bağlantı: Sinyalleri birbirine benzeyen elektrotları bağlamak. Korelasyon ya da koherens gibi ölçülerle hesaplanır.
- Öğrenilen graf: Krokiyi ağın kendisine çizdirmek. Song ve arkadaşlarının EEG ile duygu tanıma için önerdiği DGCNN, elektrotlar arasındaki bağlantıları eğitim sırasında veriden öğrenir.
Üçüncü yaklaşımın güzel bir yan etkisi de var: eğitim bittiğinde öğrenilen krokiye bakıp, model kararını verirken hangi bölgeler arasındaki ilişkiye önem verdiğini görebiliriz.
Neden Önemli?
Klasik yöntemlerde her elektrottan özellik çıkarıp hepsini tek bir uzun listeye dizeriz. Bu sırada elektrotların birbirleriyle olan ilişkisi kaybolur. GCN ise bu ilişkiyi modelin ta içine yerleştirir. Beyin zaten bir ağ olarak çalıştığı için, onu bir ağ olarak modellemek doğal bir seçim.
Laboratuvarımızda da beyin bölgeleri arasındaki bağlantı bilgisini derin öğrenmeyle birleştiren çalışmalar yaptık. Örneğin DEHB tespiti için bağlantı bilgisini derin öğrenme modelleriyle karar düzeyinde birleştirdik.
Kaynaklar
- Kipf, T. N., Welling, M. (2017). Semi-supervised classification with graph convolutional networks. International Conference on Learning Representations (ICLR). doi:10.48550/arXiv.1609.02907
- Song, T., Zheng, W., Song, P., Cui, Z. (2020). EEG emotion recognition using dynamical graph convolutional neural networks. IEEE Transactions on Affective Computing, 11(3), 532–541. doi:10.1109/TAFFC.2018.2817622
- Karabiber Cura, O., Ciklacandir, F. G., Akan, A., Kocaaslan Atli, S. (2023). Detection of attention deficit hyperactivity disorder using decision-level fusion of brain connectivity information based on deep learning. Medical Technologies Congress (TIPTEKNO). doi:10.1109/tiptekno59875.2023.10359178