Slik fungerer LexiCos AI-teknologi
LexiCo utvikler teknologi for å rute AI-forespørsler, gjøre konteksten mer håndterbar og verifisere innhold i ettertid. Her kan du følge forespørselen fra applikasjonen til modellen og se hvor proxyen, STONE og TSP bidrar.
Fire tekniske prinsipper
-
Modellruting
La ett mellomledd velge blant modeller som integrasjonen støtter.
-
Kompakt kontekst
Trekk ut informasjonen neste steg trenger for å fortsette arbeidet.
-
Verifiserbart innhold
Knytt innhold til et kryptografisk bevis som kan kontrolleres i ettertid.
-
Tydelig dataflyt
Kartlegg hva LexiCo behandler og hvilke data en modellleverandør mottar.
O(1) Proxy
Proxyen er et mellomledd mellom applikasjonen og modeller fra ulike leverandører. O(1) beskriver det avgrensede oppslags- og rutingarbeidet i proxyen målt mot størrelsen på forespørselen. Total svartid avhenger blant annet av datamengde, nettverk og modellen som genererer svaret.
-
Felles inngang
Applikasjonen bruker proxyen som grensesnitt mot modellene den har tilgang til.
-
Mål riktig del av flyten
Mål ruting i proxyen separat fra overføring, ventetid og modellgenerering for å finne hvor tiden går.
-
Alternative modeller
En konfigurert reserve kan brukes når primærmodellen er utilgjengelig og reglene for integrasjonen tillater det.
Hva skjer i proxyen?
Proxyen sjekker forespørselen, finner riktig rute og avgjør om den skal hente et tidligere svar eller sende forespørselen videre. STONE kan komprimere konteksten før et nytt modellkall.
-
Valider forespørselen
Kontroller tilgang og at forespørselen følger formatet integrasjonen forventer.
-
Velg rute
Bruk tilgjengelige modeller og rutereglene som gjelder for integrasjonen.
-
Gjenbruk eller send videre
Når Deflect finner et egnet tidligere svar, kan forespørselen besvares uten et nytt modellkall.
STONE-komprimering
STONE lager en mer kompakt representasjon av arbeidskonteksten. Den trekker ut fakta, konklusjoner og åpne spørsmål som senere steg kan bygge videre på. Hvor mye som kan komprimeres, avhenger av materialet og oppgaven.
-
Bevar det arbeidet trenger
Viderefør relevante fakta, beslutninger og uavklarte punkter mellom arbeidssteg.
-
Reduser gjentakelser
Mindre kontekst kan redusere antallet inngangstokens. Kostnadseffekten avhenger av modellen og prismodellen.
-
Mål kvalitet på egne oppgaver
Sammenlign svar og tokenbruk med full kontekst før du velger komprimeringsnivå for arbeidsflyten.
Trust Standard Protocol (TSP)
TSP knytter et dokument eller en hendelse til et kryptografisk bevis. Ved kontroll kan innholdet sammenlignes med det registrerte fingeravtrykket for å avdekke om det har endret seg.
-
Innholdsintegritet
Et kryptografisk fingeravtrykk gjør det mulig å verifisere om innholdet samsvarer med den registrerte versjonen.
-
Tidsgrunnlag
Tidsinformasjonen i beviset gir et grunnlag for å vurdere når versjonen ble registrert.
-
Dokumentasjon for revisjon
Bruk beviset sammen med opplysninger om prosessen og ansvarlige parter for å dokumentere hva som ble registrert.
Arkitektur og integrasjon
LexiCos nettplattform er bygget med ASP.NET Core og SQL Server. Når en applikasjon bruker AI-proxyen, kan modellvalget styres i integrasjonen uten at applikasjonen må ha direkte tilkobling til hver leverandør.
-
Integrasjonspunkt
Avklar hvilke modeller, formater og funksjoner arbeidsflyten trenger før du kobler til proxyen.
-
Felles innlogging
LexiCos innlogging bruker OpenID Connect for tilknyttede tjenester.
-
Avgrens databehandlingen
Kartlegg hvilke steg som kjører i LexiCos drift, og hvilke som utføres av den valgte modellleverandøren.
Sikkerhet og datahåndtering
LexiCos egen drift og behandling hos modellleverandører er to separate deler av dataflyten. Hvem som behandler data, hvor det skjer og hvor lenge data beholdes, må avklares for modellen, tjenesten og oppsettet virksomheten bruker.
-
Tilgangsstyring
Avgjør hvilke personer og integrasjoner som trenger tilgang, og hvilke rettigheter arbeidsflyten krever.
-
Data hos leverandøren
Verifiser behandlingssted, lagringstid og vilkår for forespørsler som sendes til en ekstern modell.
-
Sporbar dokumentasjon
Bruk TSP-bevis der innholdsintegritet må dokumenteres. Vurder personvern og regelverk ut fra hele arbeidsflyten.
Fra kjerneteknologi til produkter
LexiCos produkter dekker ulike behov, fra kontinuitet i agentarbeid og færre modellkall til skrivebordsverktøy og opplæring. Produktoversikten viser også de øvrige tjenestene.
-
ContextContinuity
Viderefører arbeidskontekst når en agentøkt varer lenge, avbrytes eller bytter modell.
-
Deflect
Gjenbruker relevante tidligere AI-svar når en ny forespørsel er semantisk lik.
-
Lexi Desktop Command
Samler arbeid med flere AI-modeller i et skrivebordsverktøy.
-
LexiCo Academy
Tilbyr opplæring for virksomheter innen blant annet AI, regelverk og HMS.
Finn riktig løsning for arbeidsflyten din
Se produktene i sammenheng, eller kontakt LexiCo for å avklare modellvalg, integrasjon og datahåndtering.