La prochaine génération de startups de produits valorisés à plus de 10 milliards sera construite en développant l'entraînement dans un environnement RL interne. Nous vivons dans une abondance de capacités et pourtant, nous n'avons que deux produits majeurs en IA, chatgpt et un agent de codage, et cela me frustre profondément. La chaîne d'approvisionnement actuelle de l'intelligence artificielle est structurellement cassée avec un seul fournisseur de matériel, quelques géants de l'IA possédant toute la raffinerie d'intelligence, les développeurs se retrouvant avec un accès API avec à peine aucun contrôle. Comme si l'ère d'Internet avait été construite avec Intel vendant des CPU à 4 géants du cloud possédant toute l'infrastructure et la pile logicielle avec des secrets et des NDA partout, et donnant WordPress comme kit de développement aux startups. Pourquoi perplexity n'a-t-il pas inventé la recherche approfondie ? Ils n'ont tout simplement pas pu car cela s'entraîne avec RL. Ma prédiction pour les prochaines années : RL deviendra l'outil le plus puissant pour les startups construisant des produits IA. Nous verrons des centaines d'histoires de succès comme Cursor et Lovable. L'utilisateur final en bénéficiera le plus. Les grands laboratoires évolueront vers des entreprises de produits, OAI se concentrera sur le marché des consommateurs, Antropic sur l'agent de codage, DeepMind intégrera l'IA dans toutes les entreprises de Google, Meta et XAI se battront pour les réseaux sociaux. Nous verrons émerger un écosystème de startups d'infrastructure IA, vendant des capacités de calcul, entraînant des modèles de base, organisant des données, construisant des environnements RL, offrant des inférences et des entraînements bon marché, propulsés par la science ouverte et les logiciels open source. @PrimeIntellect est à l'avant-garde de cet écosystème et la vision de l'AGI open source, le hub d'environnement RL est l'un des premiers éléments clés.

Claude est bon pour réfléchir à la configuration de l'entraînement distribué, mais il est absolument nul pour mettre en œuvre un simple changement de code. Quoi qu'il en soit, je suppose que je vais retourner à la programmation moi-même.

lorsque je teste une nouvelle base de code de formation, si je ne vois pas une configuration de débogage qui me permet de faire un court test sur du matériel limité, je commence à remettre en question la capacité du développeur à maintenir le dépôt.

D'après mon estimation, nous devrions atteindre 1 million d'étoiles sur GitHub dans les 3 prochains mois.

14 jours de distribution, jour 7 ! Rencontrez Sami Jaghouar (@samsja19) de @PrimeIntellect : Sami dirige leur recherche et se concentre sur le pré-entraînement décentralisé et l'apprentissage par renforcement distribué dans le cadre de son travail. Sami donnera une conférence sur à quoi ressemble la mise en œuvre de l'entraînement décentralisé chez Prime.

Le dernier hackathon en mode GPU était le meilleur hackathon auquel j'ai jamais assisté en personne, j'attends avec impatience le prochain.

Il semble que d'autres personnes convergent vers l'utilisation de vllm v1 logprob pour le ratio d'importance afin de résoudre le problème de stabilité. Je pense que j'ai un PTSD à cause de ce type de crash en RL.

Je recrute un ingénieur de recherche chez @PrimeIntellect Nous construisons des laboratoires AGI open source et recherchons des talents bruts. Peu importe votre ancien titre de poste. Tout le monde dans l'équipe de recherche est full stack, nous construisons l'infrastructure et analysons également les données. Si vous avez un point fort pour les systèmes, l'apprentissage par renforcement, les données ou les lois de mise à l'échelle, vous serez confronté à une multitude de défis à relever.

l'attention est tout ce dont vous avez besoin, mais l'agent doit toujours chercher le code qui est déjà dans le contexte

prédiction : les environnements RL seront la prochaine grande chose en IA fin 2025 / début 2026. vous verrez des startups se lancer dans chaque secteur, santé, ingénierie, marketing, ventes, etc.