Stačí si přečíst článek a za prvé, je to dobrý článek! Ve skutečnosti šli a dělali předtrénink až po následný trénink. Modely jsou malé, ale ve srovnání s biliony tokenových LLM nejsou data jednotlivých buněk tak velká. Zachování modelového oblouku bylo chytré. ALE... Tady je ta věc. Není to zásadní posun v tom, jak tento obor dělá věci. Ani demonstrace nových schopností nebo paradigmatický posun v přesnosti/vybavování. Realita je taková, že údaje o genové expresi, dokonce i na úrovni jednotlivých buněk, mají svá omezení. Většina signálu bude pocházet z diferenciálně exprimovaných genů: pravděpodobně nebudete muset dělat LLM, abyste z toho získali dobré hypotézy. Takže toto je postupný pokrok. Předpokládejme však, že existuje nějaký skrytý signál, který lze extrahovat pouze s relevantním kontextem, což je ideální pro LLM. Předpokládejme, že vytvoříte model, o kterém si myslíte, že dokáže tyto informace extrahovat. Klíčová otázka zní: jak to otestujete ve velkém měřítku? Jak ověřím, že tento model nachází zajímavé věci, které bych nemohl najít pomocí jednodušších metod? To je skutečná výzva a jen pár experimentů to neprokáže. Předpokládejme, že tyto ověřovací experimenty provádíte ve velkém, utratíte spoustu $$, počkáte mnoho měsíců... A uvědomíte si, že model není tak dobrý ve srovnání s výchozím stavem, jak jste si mysleli, co teď? Uděláte další kolo velkého experimentálního tréninku a zopakujete si to? To je příliš drahé! Je to mnohem dražší než standardní LLM věci, kde můžete ELO / hodnotit svou cestu v chatovacích arénách a uživatelských datech. A to je důvod, proč je tak těžké pohnout jehlou v biologii. Experimentální zpětnovazební smyčka vás prostě zabije. A pokud navrhujete terapeutika? Smyčka se ještě prodlouží, roky nebo desetiletí, i když chcete měřit skutečné koncové body. To je hořká lekce z biologie: test je král, postel je král – výpočetní metody vás bez rozsáhlého experimentálního ověření dovedou jen do určité míry. Z hloubi srdce věřím, že kolem toho je něco jiného, ale kdo tento kód rozluští, vyhrává.