To jest szczerze mówiąc dość szalone, że mam najszybszy framework do uczenia się przez wzmocnienie z wykorzystaniem pikseli w całym świecie, przy 100 tysiącach trójkątów, 16 tysiącach unikalnych siatek i 16 tysiącach unikalnych światów. Wszystko na jednym 4090. 10 minut na łatwych zadaniach

Jest kilka świetnych rzeczy na jego temat. Bardzo szybkie zapytania dotyczące atrybutów świata w odniesieniu do pozycji rzeczy, atrybuty takie jak to, co jest najbliższą powierzchnią. Pamięć nie eksploduje, można skalować do 100 tys. unikalnych światów w pamięci, jeśli bym chciał, poprzez grupowanie zasobów. Generacja proceduralna na żywo.

Wtyczki i odtwarzane zasoby dla świata. Mogę proceduralnie generować światy siatkowe za pomocą manifoldcad, jeśli chcę, i kontynuować generowanie nowych światów podczas treningu. Wiele polityk ma trudności z zapamiętywaniem, ale nie moja. Każdy odcinek mógłby być nowym światem, jeśli bym chciał.

Niestandardowe schematy renderowania w celu przyspieszenia treningu. Mogę zastosować renderowanie fovealne, aby móc uczyć się RL z użyciem rzeczywistego oka, które porusza się, aby ustalić, gdzie znajduje się agent. I rzeczywiście się uczy. 1m, 2m kroków na sekundę. Z dwoma GPU mogę przeprowadzić 12 eksperymentów w ciągu godziny.

Mogę uzyskać percepcję głębi za darmo dzięki mojemu silnikowi świata. Mogę modelować i fizykę, którą chcę, wstrzykując funkcję pytorch, która grupuje operacje w każdym świecie. *Ponieważ* mogę przeprowadzać tak wiele eksperymentów z tak ekstremalnymi prędkościami, a to jest tak konfigurowalne, uczę się tak wiele.

Wytrenowałem model do eksploracji mieszkania zaledwie przy użyciu TRZECH zapytań głębokości. Czy to było łatwe? Nie. Wymagało to wielu eksperymentów. Ale ponieważ mogę przeprowadzać 100 dziennie, robię 100 razy większe postępy. Zrozumiałem, jak trzymać to juuuuż dobrze *ponieważ* moje postępy są 100x szybsze niż twoje.

Mam kod, który przeszukuje wszystkie kąty, mam kod, który renderuje zachowanie polityki, mam kod, który uruchamia statystyki dla wszystkich z nich i na bieżąco aktualizuje wykres, który mogę obserwować, oraz mam kod, który przeprowadza wiele eksperymentów na moich wielu maszynach.

W zasadzie pracowałem nad tym przez 2 miesiące łącznie, przerywając to pracą nad sprzętem i oprogramowaniem. Moje sesje treningowe kiedyś trwały 10 godzin, a teraz trwają 10 minut. Nie sądzę, żebyś naprawdę rozumiał, co to oznacza. 10 minut

Moja mama pisała w c++ oprogramowanie transakcyjne dla banków w latach 90-tych, a czasy kompilacji były dłuższe. Cała moja pętla treningowa na proceduralnie generowanych RENDEROWANYCH ŚWIATACH jest szybsza niż czas, jaki moja mama potrzebowała na uruchomienie testów integracyjnych w oprogramowaniu transakcyjnym bazy danych.

Przepisałem mój silnik renderujący oraz integrację trenera (rozszerzenie pufferlib specyficzne dla treningu tylko na GPU, więc moja cała pętla działa natywnie na GPU) oraz moje oprogramowanie do wizualizacji eksperymentów / wdrożeń i moje oprogramowanie do generacji świata już trzy razy. Osobno.

Prosta, czysta prędkość mojej pętli sprawia, że mnóstwo pracy, której nawet nie warto było próbować, jest dzisiaj warta zrobienia. Zamierzam zrobić tyle głupich rzeczy, których nigdy wcześniej nie robiłem Powiedziano mi, że piksele to zły pomysł, ponieważ są wolne, ale każde oprogramowanie można przyspieszyć. To nawet nie jest takie trudne.

Nie sądzę, że rozumiecie. Wytrenowałem politykę, która używa TYLKO PIKSELI (!) I POTRAFI ZARZĄDZAĆ FIZYKĄ z 4 kanałami kontrolnymi, które LITERALLY ZAPAMIĘTUJĄ, które pokoje już odwiedziły i UNIKAJĄ KOLIZJI przy 20hz BEZ STANU. 900k parametrów

Rozumiesz? Zamierzam wygrać. Nie w małym stopniu. Nie robiąc tego, co wszyscy inni. Robiąc to, czego nikt inny nie ma odwagi zrobić. Po prostu robiąc to, co jest oczywiste, wydaje się tylko dla mnie. Zamierzam wygrać.

@ChrisRemboldt (tak!)