4. Modelové příklady úkonů
Výpočty níže předpokládají CDX-GPT-MAIN ve třídě Standard se standardním kontextem a CDX-EXTRACT v režimu Standard.
Spotřeba kreditů se neodvíjí jen od délky odpovědi. AI má při práci k dispozici celý obsah CODEXISu a podle vašeho zadání i instrukcí asistenta prochází a čte tolik podkladů, kolik potřebuje k tomu, aby měla dostatečnou jistotu, že našla právě to, co bylo zadáno.
Proto platí jednoduché pravidlo: čím přesnější zadání, tím méně hledání, méně úkonů a obvykle levnější výstup. Naopak široké nebo neurčité zadání bývá dražší, protože model musí projít více obsahu. S formulací zadání je potřeba získat zkušenost; užitečný je i Prompting guide pro CODEXIS AI.
4.1 Rešerše judikatury (58 635 kreditů / úkon)
Typický průběh: model EXTRACT prochází tisíce stran judikatury (velký cached kontext soudních rozhodnutí), model MAIN syntetizuje výstup (~50 000 output tokenů, tj. cca 35+ stran analýzy).
Rozpad tokenů a kreditů na jeden úkon:
| Model | Typ | Tokeny | Kredity |
|---|---|---|---|
| CDX-GPT-MAIN | input | 200 000 | 12 500 |
| input cached | 2 500 000 | 15 625 | |
| output | 50 000 | 18 750 | |
| subtotal | 2 750 000 | 46 875 | |
| CDX-EXTRACT | input | 2 240 000 | 5 600 |
| input cached | 2 240 000 | 560 | |
| output | 560 000 | 5 600 | |
| subtotal | 5 040 000 | 11 760 | |
| CELKEM | 7 790 000 | 58 635 |
Poměr tokenů MAIN (in:cached:out) = 4 : 50 : 1 Poměr tokenů EXTRACT (in:cached:out) = 4 : 4 : 1
4.2 Právní rešerše bez judikatury (17 423 kreditů / úkon)
Méně extrakční práce, kratší výstup (~15 000 output tokenů, tj. cca 10 stran).
Rozpad tokenů a kreditů na jeden úkon:
| Model | Typ | Tokeny | Kredity |
|---|---|---|---|
| CDX-GPT-MAIN | input | 60 000 | 3 750 |
| input cached | 750 000 | 4 688 | |
| output | 15 000 | 5 625 | |
| subtotal | 825 000 | 14 063 | |
| CDX-EXTRACT | input | 640 000 | 1 600 |
| input cached | 640 000 | 160 | |
| output | 160 000 | 1 600 | |
| subtotal | 1 440 000 | 3 360 | |
| CELKEM | 2 265 000 | 17 423 |