Acabo de leer el artículo, y antes que nada, ¡es un buen artículo! De hecho, hicieron un preentrenamiento hasta el postentrenamiento en el flujo de trabajo. Los modelos son pequeños, pero comparados con los LLMs de un billón de tokens, los datos de células individuales simplemente no son tan grandes. Retener la arquitectura del modelo fue inteligente. PERO... aquí está la cuestión. No es un cambio importante en cómo se hacen las cosas en el campo. Ni una demostración de nuevas capacidades o un cambio paradigmático en precisión/recall. La realidad es que los datos de expresión génica, incluso a nivel de célula única, tienen sus limitaciones. La mayor parte de la señal provendrá de genes expresados diferencialmente: probablemente no necesitas hacer LLMs para esto para extraer buenas hipótesis. Así que este es un avance incremental. Pero, supongamos que hay alguna señal oculta que solo se puede extraer con el contexto relevante, perfecto para LLMs. Supón que creas un modelo que crees que puede extraer esta información. La pregunta clave es: ¿cómo pruebas esto a gran escala? ¿Cómo valido que este modelo está encontrando cosas interesantes que no podría haber encontrado usando métodos más simples? Este es el verdadero desafío y solo hacer un puñado de experimentos no lo probará. Supón que haces estos experimentos de validación a gran escala, gastas mucho $$, esperas muchos meses... y te das cuenta de que el modelo no es tan bueno comparado con la línea base como pensabas, ¿y ahora qué? ¿Haces otra ronda de entrenamiento experimental a gran escala y repites? ¡Eso es caro! Es mucho más caro que el estándar de LLM donde puedes ELO/rankear tu camino en arenas de chat y datos de usuarios. Y *esto* es por qué mover la aguja en biología es tan difícil. El ciclo de retroalimentación experimental simplemente te mata. Y si estás diseñando terapias? El ciclo se vuelve aún más largo, años o décadas incluso si quieres medir puntos finales verdaderos. Esa es la amarga lección en biología: el ensayo es rey, el lecho es rey -- los métodos computacionales solo te llevarán hasta cierto punto sin validaciones experimentales extensas. Creo en lo más profundo de mi ser que hay una forma de sortear esto, pero quien descifre este código gana.