Solo lea el artículo y, en primer lugar, ¡es un buen artículo! De hecho, fueron e hicieron un entrenamiento previo hasta el entrenamiento posterior posterior. Los modelos son pequeños, pero en comparación con los billones de tokens LLM, los datos de una sola celda no son tan grandes. Mantener el arco modelo fue inteligente. PERO... Aquí está la cosa. No es un cambio importante en la forma en que el campo hace las cosas. Ni una demostración de nuevas capacidades o un cambio paradigmático en la precisión/recuperación. La realidad de todo esto es que los datos de expresión génica, incluso a nivel de una sola célula, tienen sus limitaciones. La mayor parte de la señal provendrá de genes expresados diferencialmente: es probable que no necesite hacer LLM para extraer buenas hipótesis. Así que este es un avance incremental. Pero, supongamos que hay alguna señal oculta que solo se puede extraer con un contexto relevante, perfecto para LLM. Suponga que crea un modelo que cree que puede extraer esta información. La pregunta clave es: ¿cómo se prueba esto a escala? ¿Cómo valido que este modelo está encontrando cosas interesantes que no podría haber encontrado usando métodos más simples? Este es el verdadero desafío y solo hacer un puñado de experimentos no lo probará. Supongamos que haces estos experimentos de validación a escala, gastas mucho $$, esperas muchos meses... Y te das cuenta de que el modelo no es tan bueno en comparación con la línea de base como pensabas, ¿y ahora qué? ¿Haces otra ronda de entrenamiento experimental a gran escala y repites? ¡Está muy caro! Es mucho más caro que las cosas estándar de LLM donde puedes hacer ELO / clasificar a tu manera en las arenas de chat y los datos del usuario. Y *esto* es por qué mover la aguja en biología es tan difícil. El ciclo de retroalimentación experimental simplemente te mata. ¿Y si estás diseñando terapias? El bucle se vuelve aún más largo, años o décadas, incluso si desea medir puntos finales reales. Esa es la amarga lección de biología: el ensayo es el rey, la cabecera es el rey: los métodos computacionales solo lo llevarán hasta cierto punto sin extensas validaciones experimentales. Creo en el fondo de mi corazón que hay una forma de evitar esto, pero quien descifre este código gana.