AI-töövoog võib üleandmise päeval töötada laitmatult ja kolm kuud hiljem ebaõnnestuda. Keegi ei puudutanud seda. Muutus maailm selle ümber.
Demod seda AI-automaatika osa kunagi ei näita. Selles artiklis selgitame, mis muutub, kuidas me seda märkame ja mille eest kuutasu maksate.
Mis muutub
Mudelid
AI-mudelite pakkujad avaldavad uusi versioone mitu korda aastas. Samuti lõpetavad nad vanade versioonide toe. Kui vana versioon kaob, peab iga töövoog, mis seda kasutab, liikuma uuele versioonile.
Uus mudel on tavaliselt keskmiselt parem. Aga „keskmiselt parem” ei tähenda „teie ülesandes sama”. Uus versioon võib näiteks:
- vormindada numbreid või kuupäevi teisiti
- kirjutada pikemaid või lühemaid vastuseid
- lugeda ebaselget arvevälja teistmoodi
- järgida üht juhist rangemalt ja teist vähem rangelt
Iga selline muutus on väike. Aga töövoos, mis kirjutab teie raamatupidamistarkvarasse või teie klientidele, on ka väikesel muutusel tähtsus.
API-d
Ka teie muu tarkvara muutub. API on liides, mille kaudu kaks programmi andmeid vahetavad, ja ka API-d muutuvad. Raamatupidamisprogramm avaldab uue API versiooni. E-postiteenus muudab sisselogimise viisi. Tarnija muudab oma arve PDF-i paigutust. Iga selline muudatus võib töövoo peatada ilma ühegi veateateta.
Inimesed
Inimene, kes teadis, miks mingi reegel olemas on, lahkub ettevõttest. Uus töötaja käsitleb erandeid teisiti. Tekib uus tootesari, mida töövoog pole kunagi näinud.
Hinnad
Mudelite hinnad muutuvad. Kasutus kasvab, kui annate töövoole rohkem tööd. Ilma monitooringuta võib kuuarve kasvada nii, et keegi seda ei märka.
Kuidas me märkame: testid
Igal meie ehitatud töövool on testjuhtumite komplekt. Testjuhtum on realistlik sisend koos tulemusega, mida ootame. Arvete töövoo puhul on testjuhtum PDF ja väljad, mida sellest välja lugeda tuleb. E-kirjade triaaži puhul on see kiri ja kategooria, mille kiri peaks saama.
Kogume testjuhtumid päris tööst ja teeme need vajadusel anonüümseks. Lisame meelega ka keerulisi juhtumeid: kahe käibemaksumääraga arve, venekeelne kiri, päring ilma aadressita. Iga kord, kui mõni päris juhtum läheb valesti, lisame selle komplekti.
Käivitame kogu testikomplekti:
- enne üleminekut uuele mudeliversioonile
- pärast seda, kui muutub API, millest sõltume
- pärast prompti või reegli muutmist
- regulaarse ajakava järgi, ka siis, kui midagi ei paista muutuvat
Kui tulemus erineb oodatust, näeme seda enne, kui teie meeskond seda märkab.
Kuidas me märkame: monitooring
Testid kontrollivad teadaolevaid juhtumeid. Monitooring jälgib päris tööd iga päev. Jälgime näiteks järgmist:
- Maht. Kui töövoog töötleb tavaliselt näiteks 40 arvet päevas ja täna mitte ühtegi, on midagi valesti.
- Vead. Ebaõnnestunud API-päringud, ajalõpud ja dokumendid, mida AI lugeda ei suutnud.
- Inimesele saadetud juhtumid. Kui nende arv äkki kasvab, on AI vähem kindel kui varem.
- Parandused. Kui sageli muudab inimene AI mustandit enne kinnitamist?
- Kulu. Mudeli kasutus päevas ja töövoo kohta.
Kui mõni number liigub tavapärasest vahemikust välja, saame hoiatuse. Tavaliselt parandame põhjuse enne, kui keegi teie poolel seda märkab.
Kuidas me mudelit uuendame
Me ei vaheta mudelit samal päeval, kui uus ilmub. Järgime kindlat korda:
- Lukustame versiooni. Iga töövoog kasutab üht täpset mudeliversiooni, mitte „uusimat”. Nii ei muutu midagi ootamatult.
- Testime uut versiooni. Käivitame uue mudeliga kogu testikomplekti ja võrdleme tulemusi.
- Parandame erinevused. Kohandame prompte või reegleid seal, kus uus mudel käitub teisiti.
- Käitame paralleelselt. Kui see on kasulik, töötab uus mudel lühikest aega vana kõrval päris töö peal. Tulemust see veel ei mõjuta.
- Vahetame ja jälgime. Viime töövoo uuele versioonile ja jälgime esimestel päevadel monitooringut tähelepanelikult.
Mõnikord valime lihtsate sammude jaoks väiksema ja odavama mudeli ning keeruliste sammude jaoks võimekama. Me ei sõltu ühest mudelipakkujast, seega saame valida mudeli iga ülesande jaoks eraldi.
Milleks on kuutasu
Kõik ülaltoodu on pidev töö. See ei lõpe siis, kui ehitus lõpeb. Seepärast on meie töövoogudel kuutasu. See sisaldab järgmist:
- Mudelite ja API-de uuendused. Jälgime AI-turgu ja teie tarkvaratootjaid, et teie ei peaks seda tegema.
- Monitooring. Jälgime numbreid ja parandame vead.
- Üks väike parendus kuus. Näiteks uus kategooria, uus reegel või uus väli aruandes.
- Kuuaruanne. Säästetud tunnid, vead, inimesele saadetud juhtumid ja mudelikulu.
Hind sõltub töövoogude arvust ja mudeli kasutusest. Anname hinna päringul, pärast auditit, kui ulatus on teada.
Meie kuutasu lubadus on lihtne: „Hoiame teid ajaga kaasas.” Mudelid muutuvad mitu korda aastas. Teie töövoog peab sellest hoolimata edasi töötama.
Mida näete kliendina
Suurem osa sellest tööst toimub taustal. Teie näete seda kahes kohas. Esimene on kuuaruanne. See näitab säästetud tunde, vigu, inimesele saadetud juhtumeid ja mudelikulu ning võrdleb neid eelmise kuuga.
Teine on lühike teade, kui muudame midagi olulist, näiteks mudeliversiooni. Teates on kirjas, mis muutus, mida testisime ja mida võite märgata. Kui muudatus puudutab seda, mida AI tohib teha üksi, otsustate enne teie.
Mis juhtub ilma hoolduseta
Ilma hoolduseta ei lõpe töövoog tavaliselt valju veaga. Selle kvaliteet langeb vaikselt. Paranduste vajadus kasvab aeglaselt. Inimesed hakkavad jälle asju käsitsi parandama. Mõne kuu pärast lakkab meeskond töövoogu usaldamast ja naaseb vana tööviisi juurde.
Siis on ettevõte ehituse eest maksnud ja teeb tööd ikkagi käsitsi. Väike kuutasu on odavam kui selline tulemus.
Mida küsida igalt tarnijalt
Kui teil on juba AI-töövoog või kui plaanite seda osta, esitage need küsimused:
- Millist täpset mudeliversiooni töövoog kasutab?
- Kus on testjuhtumid ja mitu neid on?
- Millal neid viimati käivitati?
- Kes saab hoiatuse, kui töövoog seiskub?
- Kui palju maksis töövoo käigus hoidmine eelmisel kuul?
Kui keegi ei oska neile küsimustele vastata, on teil demo, mis pole veel katki läinud. Täieliku kontrollnimekirja leiate artiklist Demo ei ole süsteem.
Alustage protsessiauditist
Püsiv töövoog algab selgest protsessist. Testid tulevad reeglitest, milles kokku lepite. Monitooring tuleb numbritest, mida tahate parandada. Meie protsessiaudit kestab umbes nädala. Selle jooksul kaardistame ühe protsessi, kirjutame need reeglid ja valime esimese töövoo. Saate 3–5 automatiseerimise kohta koos ajasäästu, riski ja hinnaga ning ehituse pakkumise fikseeritud hinnaga. Audit maksab 1 490 € + KM.