Ainda não temos autoaperfeiçoamentos de IA e, quando o fizermos, será um divisor de águas. Com mais sabedoria agora em comparação com o GPT-4 dias, é óbvio que não será uma "decolagem rápida", mas sim extremamente gradual ao longo de muitos anos, provavelmente uma década. A primeira coisa a saber é que o autoaperfeiçoamento, ou seja, os modelos que se treinam, não é binário. Considere o cenário de treinamento GPT-5 GPT-6, o que seria incrível. Será que o GPT-5 de repente passaria de não ser capaz de treinar GPT-6 para treiná-lo de forma extremamente eficiente? Definitivamente não. As primeiras execuções de treinamento GPT-6 provavelmente seriam extremamente ineficientes em tempo e computação em comparação com pesquisadores humanos. E só depois de muitos testes, o GPT-5 seria realmente capaz de treinar o GPT-6 melhor do que os humanos. Em segundo lugar, mesmo que um modelo pudesse treinar a si mesmo, ele não melhoraria de repente em todos os domínios. Há um gradiente de dificuldade em como é difícil melhorar-se em vários domínios. Por exemplo, talvez o autoaperfeiçoamento só funcione no início em domínios que já sabemos como corrigir facilmente no pós-treinamento, como alucinações básicas ou estilo. Em seguida, estaria a matemática e a codificação, que dá mais trabalho, mas estabeleceu métodos para melhorar os modelos. E então, no extremo, você pode imaginar que existem algumas tarefas que são muito difíceis para o autoaperfeiçoamento. Por exemplo, a capacidade de falar tlingit, uma língua nativa americana falada por ~500 pessoas. Será muito difícil para o modelo se auto-melhorar ao falar tlingit, pois ainda não temos maneiras de resolver linguagens com poucos recursos como esta, exceto coletar mais dados, o que levaria tempo. Então, por causa do gradiente de dificuldade de autoaperfeiçoamento, não vai acontecer tudo de uma vez. Finalmente, talvez isso seja controverso, mas, em última análise, o progresso da ciência é estrangulado por experimentos do mundo real. Alguns podem acreditar que ler todos os artigos de biologia nos diria a cura para o câncer, ou que ler todos os artigos de ML e dominar toda a matemática permitiria que você treinasse GPT-10 perfeitamente. Se este fosse o caso, então as pessoas que leram mais artigos e estudaram mais teoria seriam os melhores pesquisadores de IA. Mas o que realmente aconteceu é que a IA (e muitos outros campos) se tornaram dominados por pesquisadores impiedosamente empíricos, o que reflete o quanto o progresso é baseado em experimentos do mundo real em vez de inteligência bruta. Então, meu ponto é, embora um agente super inteligente possa projetar experimentos 2x ou até 5x melhores do que nossos melhores pesquisadores humanos, no final do dia eles ainda têm que esperar que os experimentos sejam executados, o que seria uma aceleração, mas não uma decolagem rápida. Em resumo, há muitos gargalos para o progresso, não apenas inteligência bruta ou um sistema de autoaperfeiçoamento. A IA resolverá muitos domínios, mas cada domínio tem sua própria taxa de progresso. E mesmo a mais alta inteligência ainda exigirá experimentos no mundo real. Então será uma aceleração e não uma decolagem rápida, obrigado por ler meu discurso