Herkese merhaba, şimdiye kadarki ilgi için teşekkürler. İşte yaptıklarımızın bir açıklaması Özet: Bu, PPO ve yaşayan nöronlar kapalı bir döngüde. Politika uyarılma yoluyla "konuşuyor", hücreler spike'larla "yanıt veriyor" ve değer fonksiyonu benim uyarma yoluyla geri besleme ile politikanın bir eylemin ne kadar iyi ya da kötü olduğunu iletebileceği için sürpriz bir sinyal sunuyor. DOOM'dan önce, el yapımı haritalamalara dayanan Pong vardı. Küçük bir ortamda, geri bildirimin ne anlama geldiğini manuel olarak tanımlayabilir ve tutarlı tutabilirsiniz. Ortam karmaşıklaştıkça, el yapımı sinyaller zorlaşır ve tutarsız hale gelir. Bir sinyalin aynı anlamı ifade ettiği bağlamların sayısı patlıyor ve el ile değişmezliği yeniden icat etmeye başlıyorsunuz. DOOM 3D ve bestecidir. Yürümek + dönüş + çekim aynı anda gerçekleşebilir. Doğru eşleme kurallar yığını olamaz, bu yüzden davranış değiştikçe tutarlı kalan bir sinyal üretecine ihtiyacım vardı. Bu yüzden PPO kullandım. Artışlar türevlendirilemez ve PPO'nun değer fonksiyonu, politika ve hücrelerin bunu çevrimiçi geri bildirim diline dönüştürmek için birleşik bir "sürpriz" tanımlamasının nesnel bir yolunu sunuyor. Politika doğrudan "ileri git" veya "ateş et" mesajını vermiyor. Bu politika uyarıcı üretiyor. Hücreler sivri uçlarla yanıt verir. Bu sivriler, oyunun aksiyonunu doğrusal bir okuma yoluyla seçiyor. Bunun üzerine, değer fonksiyonu size getirinin çevrimiçi bir tahminini verir, bu da tahmin hatası olarak sürprizi hesaplamanıza olanak tanır. Bu eylem sürprizine dayanarak, farklı geri besleme şemalarımıza göre frekans ve genliği ayarlıyoruz. Örneğin, bir eylem pozitifse ve değer fonksiyonu "yüksek sürpriz" demişse, o eylem için pozitif eylem geri bildiriminin sıklığını azaltırız ve hücrelerin tercih ettiği eylemleri daha "öngörülebilir" hale getiririz.