Olá a todos, obrigado pelo interesse até agora. Aqui está uma explicação do que fizemos TLDR: Isto é PPO mais neurônios vivos em um loop fechado. A política "fala" através da estimulação, as células "respondem" através de picos, e a função de valor fornece um sinal de surpresa que eu retroalimento através da estimulação para que a política possa comunicar quão boa ou má foi uma ação. Antes do DOOM, havia Pong, que dependia de mapeamentos feitos à mão. Em um ambiente pequeno, você pode definir manualmente o que o feedback significa e mantê-lo consistente. À medida que o ambiente se torna mais complexo, os sinais feitos à mão se tornam mais difíceis e inconsistentes. O número de contextos onde um sinal deve significar a mesma coisa explode, e você começa a reinventar a invariância manualmente. DOOM é 3D e composicional. Andar + virar + atirar pode acontecer ao mesmo tempo. O mapeamento correto não pode ser um monte de regras, então eu precisava de um gerador de sinais que permaneça coerente à medida que o comportamento muda. É por isso que usei PPO. Os picos são não diferenciáveis, e a função de valor do PPO nos dá uma maneira de definir objetivamente uma "surpresa" combinada para a política e as células transformá-la em uma linguagem de feedback online. A política não sai diretamente com "mover para frente" ou "atirar". A política gera estimulação. As células respondem com picos. Esses picos são o que seleciona a ação do jogo, através de uma leitura linear. Além disso, a função de valor lhe dá uma estimativa online do retorno, que permite calcular a surpresa como o erro de previsão. Com base nessa surpresa da ação, ajustamos a frequência e a amplitude de acordo com nossos diferentes esquemas de feedback. Ex: Se uma ação foi positiva e a função de valor disse "alta surpresa", então reduzimos a frequência do feedback positivo para essa ação, tornando as ações mais "previsíveis", que as células preferem.