qual è l'indagine più approfondita mai condotta su un singolo passo di backpropagation con nn interp? Voglio un documento che descriva la vita di una backpropagation, passo dopo passo, in modo da poter seguire esattamente cosa succede.
Voglio vedere ogni peso che viene regolato, ogni effetto fuori target dell'apprendimento di un nuovo concetto, ecc.
Fondamentalmente voglio i mattoni fondamentali dell'interpretabilità ma per il backprop
Voglio anche un documento sull'archeologia di un modello, come addestrare inceptionv1 o qualsiasi altra cosa da zero e visualizzare tutto, tracciare diversi passaggi di grok, avere un modello che monitori ogni circuito e tenga traccia della crescita della conoscenza deutschiana.
6,71K