Чесно кажучи, це якесь божевілля, що у мене найшвидші пікселі до навчального фреймворку навчання з підкріпленням політики у всьому світі, зі 100 тисячами трикутників і 16 тисячами унікальних сіток і 16 тисячами унікальних світів. Все на одному 4090. 10 хвилин на легких завданнях

У цьому є кілька чудових моментів. Дуже швидкі запити про атрибути світу щодо розташування речей, атрибути на кшталт того, що є найближчою поверхнею. Пам'ять не вибухає, можу масштабувати до 100 тисяч унікальних світів у пам'яті, якщо захочу, об'єднуючи активи. Живий процедурний ген

Активи plug and play для всього світу. Я можу процедурно генерувати сітчасті світи за допомогою manifoldcad, якщо захочу, і продовжувати генерувати нові світи під час тренувань. Багато політиків мають проблеми із запам'ятовуванням, але не моя. Кожен епізод може стати новим світом, якщо я цього хочу

Користувальницькі схеми рендерингу для прискорення навчання. Я можу робити візуалізацію з фокусуванням, щоб я міг вивчити реальне очне яблуко, яке кидається навколо, щоб з'ясувати, де знаходиться агент. І вона дійсно вчиться. 1 м, 2 м кроків в секунду. З двома графічними процесорами я можу провести 12 експериментів за годину

Я можу отримати сприйняття глибини безкоштовно завдяки моєму світовому двигуну. Я можу моделювати та займатися фізикою, вводячи функцію pytorch, яка пакетує операції в кожному світі. *Тому що* я можу проводити стільки експериментів на таких екстремальних швидкостях, і це так налаштовується, я так багато вчуся

Я навчив модель досліджувати квартиру лише за допомогою ТРЬОХ запитів на глибину. Чи було це легко? Ні. Знадобилося багато експериментів. Але оскільки я можу бігати 100 на день, я досягаю в 100 разів більшого прогресу. Я зрозумів, як тримати його правильно *тому що* мій прогрес у 100 разів швидший, ніж у вас

У мене є код, який шукає сітку під кожним кутом, і у мене є код, який відображає поведінку політики, і у мене є код, який запускає статистику на всіх них і оновлює діаграму в реальному часі, щоб я міг дивитися, і у мене є код, який запускає кілька експериментів на моїх кількох машинах

Я в основному працюю над цим 2 місяці в сукупності, перфоровано роботою заліза та прошивки. Раніше мої тренувальні пробіжки займали 10 годин, а зараз – 10 хвилин. Я не думаю, що ви дійсно розумієте, що це означає. 10 хвилин

Моя мама писала c++ для транзакційного банківського програмного забезпечення в 90-х, і її час компіляції був довшим. Весь мій цикл навчання на процедурно згенерованих РЕНДЕРЕНИХ СВІТАХ швидший, ніж час, який знадобився моїй мамі для проведення інтеграційних тестів на транзакційному програмному забезпеченні баз даних

Я вже тричі переписав свій двигун рендерингу та інтеграцію з трейнером (розширення pufferlib спеціальне для тренувань лише на GPU, тому весь мій цикл працює нативно на GPU), а також програмне забезпечення для візуалізації експериментів / розгортання та програмне забезпечення для покоління світу. Індивідуально.

Проста швидкість мого циклу робить купу роботи, яку навіть не варто було намагатися виконувати сьогодні. Я збираюся зробити стільки дурниць, яких ніколи раніше не робили Мені сказали, що пікселі — погана ідея, тому що вона повільна, але будь-яке програмне забезпечення можна зробити швидким. Це навіть не так вже й складно.

Я не думаю, що ви, хлопці, розумієте. Я навчив політику, яка використовує НІЧОГО, КРІМ ПІКСЕЛІВ (!) ЯКИЙ МОЖЕ КЕРУВАТИ ФІЗИКОЮ за допомогою 4 каналів керування, який буквально запам'ятовує, які кімнати він вже відвідав, і УНИКАТИ ЗІТКНЕНЬ на частоті 20 Гц без СТАНУ. Параметри 900 тис

Ви розумієте? Я переможу. Ні трохи. Не роблячи те, що роблять інші. Роблячи те, на що більше ні в кого немає сил. Просто робити те, що очевидно, здається тільки мені Я переможу

@ChrisRemboldt (так!)