Japonya’da bir bilim insanı, beyin tarama teknikleri ile yapay zekâyı birleştirerek insanların zihinsel görüntülerini açıklayıcı ve doğru cümlelere dönüştüren yeni bir yöntem geliştirdi. Science Advances dergisinde yayımlanan çalışmanın yazarı Tomoyasu Horikawa, beyin aktivitesinden kelimeleri metne çevirme konusunda ilerleme kaydedildiğini ancak karmaşık zihinsel imgelerin söze dökülmesinin uzun süredir büyük bir zorluk olduğunu belirtti.
CNN’in haberine göre Horikawa’nın “zihin altyazısı” olarak adlandırdığı yeni yöntem, yapay zekâ destekli modeller kullanarak beyindeki nesneler, yerler, eylemler ve olaylar gibi görsel unsurları ve bunların ilişkilerini yansıtan açıklayıcı metinler üretiyor.
Çalışma nasıl yürütüldü?
NTT İletişim Bilimleri Laboratuvarları'ndan Horikawa, 22–37 yaşları arasında Japonca ana dili olan dört erkek ve iki kadından oluşan altı katılımcının beyin aktivitelerini analiz ederek araştırmayı yürüttü. Katılımcılar, nesneler, sahneler ve eylemler bakımından değişen içeriklere sahip, saniyelik ve sessiz 2 bin 180 kısa videoyu izledi.
Araştırmacı, bu videolara karşılık gelen beyin aktivitelerini sayısal dizilerle eşleştirmek için “kod çözücüler” olarak adlandırılan basit yapay zekâ modelleri eğitti. Ardından bu kod çözücüleri kullanarak, katılımcıların daha önce yapay zekânın görmediği videoları izlerken ya da hatırlarken ortaya çıkan beyin aktivitelerini yorumladı. Elde edilen sinyallere en uygun kelime dizilerini aşamalı olarak üretebilen ayrı bir algoritma geliştirildi.
Bu sayede yöntem, katılımcılar yeni videolar izlediğinde veya o videoları hatırladığında beyin aktivitelerini çözümleyip anlamlı metinlere dönüştürmeyi başardı.
Uzmanlara göre teknoloji, özellikle konuşma yetisini etkileyen afazi veya ALS gibi hastalıklara sahip bireyler için büyük bir potansiyel taşıyor. Ayrıca sözel iletişimde zorluk yaşayan otistik bireyler için de önemli bir gelişme olarak değerlendiriliyor.