🧑 ⚖️ Multi-Agent Legal Assistant – lynrask RAG. Drevet av CrewAI, spør denne demoen 50M+ vektorer i <30ms ved hjelp av binær kvantisering for å levere siterte juridiske svar. Bygget av @akshay_pachaar.

Jeg har nettopp publisert en kortfattet, trinnvis jupyter-notatbok som viser hvordan du bygger en tilpasset LLM for @crewAIInc som kaller @AnthropicAI Messages API og implementerer hurtigbufring. Vel, hva er rask caching og når bør du bruke det i mannskapet ditt? Det er en måte å bufre den lange, gjentatte delen av ledeteksten (vanligvis systemkontekst) mellom API-kall. du sender den én gang, og deretter bruker påfølgende anrop den på nytt; kutte inngangskostnadene med ~90 % og øke tiden til første-token med ~85 % for lange spørsmål, så lenge systeminnholdet + modellen + overskriftene forblir de samme og du er innenfor TTL (5m standard, 1h beta). Dette fungerer utmerket for pratsomme mannskaper med flere svinger. Også nyttig når mannskapet ditt gjenbruker en lang, stabil systemkontekst på tvers av oppgaver (tenk: håndbok, spesifikasjon, kodebasesammendrag). Hvis systemet/konteksten endrer hver samtale, vil caching ikke hjelpe mye. kokeboken bruker "Frankenstein" fra Project Gutenberg for å demonstrere caching med ekte, lang kontekst. Diagram nedenfor: Første kjøring skriver til cache; påfølgende kjøringer leses fra hurtigbufferen når systeminnhold, modell og overskrifter samsvarer i TTL. Repo + Notebook i kommentarer.

vi kjører for øyeblikket vårt nye @crewAIInc Studio i beta, men vil snart være GA! Så langt har det vært overveldende å se reaksjonen til folk når de ser det i aksjon for første gang. Jeg har spilt inn en kort sniktitt på Vibe som koder en agent gjennom plattformen vår og får den til å kjøre uten å skrive en eneste linje med kode og alt på noen få minutter.