Čo je modelové smerovanie
Model routing rozhoduje o tom, ktorý model, nástroj alebo pracovný postup má spracovať konkrétnu požiadavku. Jednoduchá otázka môže slúžiť rýchlejšiemu lacnejšiemu modelu, zatiaľ čo zložité analýzy alebo obrázky vyžadujú inú schopnosť.
Cieľom nie je vždy použiť najväčší model, ktorý je k dispozícii.
Klasifikácia úlohy a pravidlá
Router hodnotí jazyk, modul, dĺžku kontextu, požadované nástroje, citlivosť a očakávaný formát. Niektoré pravidlá sú pevné, iné sú založené na klasifikátoru alebo predchádzajúcich výsledkoch. Nejasný prípad dostane bezpečnú cestu.
Kvalita, cena a latencia
Rozhodnutie optimalizuje niekoľko veľkostí súčasne. Cena nesmie znížiť správnosť kritického procesu a nízka latencia nie je dôležitejšia ako bezpečnosť. Pri dlhých úlohách sa kontext systémovo skracuje, aby nedošlo k strate podstatných údajov.
Fallback a odolnosť
Ak nie je k dispozícii, limit alebo neplatný výstup, systém si vyberá povolenú alternatívu. Opakuje sa obmedzený počet pokusov a mlčky nezmení význam úlohy. Stav nástrojov, verzie modelov a dôvod presmerovania sa zaznamenávajú na diagnostiku.
Evaluácia a monitorovanie
Testovací súbor obsahuje bežné, limitné a rizikové požiadavky. Meria sa správnosť voľby, kvalita odpovede, náklady, rýchlosť a frekvencia ľudských zásahov. Výrobné vzorky odhaľujú zmenu správania po aktualizácii modelu alebo obsahu.
Prístup PAR HOUSE Agency
Routing navrhujeme podľa skutočných procesov, nie podľa marketingových názvov modelov. V klinicoch, prémiových e-Commerce a značkách s vysokou dopytovou hodnotou rozlišujeme bežnú informáciu od citlivých alebo obchodne dôležitých prípadov. Pravidlá, hodnotenie, fallback a rozpočtové limity spájajú v jednom operačnom paneli.
