Human-in-the-loop: kaip saugiai leisti AI agentui veikti
Human-in-the-loop reiškia, kad AI agentas atlieka darbą automatiškai, bet negrįžtami ir rizikingi veiksmai (pinigai, kainos, išoriniai laiškai, sutartys) sustoja ties žmogaus patvirtinimo tašku. Automatiškai leidžiami tik mažos rizikos, lengvai atšaukiami veiksmai; visa kita eskaluojama pagal pasitikėjimo ribas ir kiekvienas žingsnis registruojamas audito žurnale.
Autonominis AI agentas, kuris veikia be jokių stabdžių, atrodo kaip svajonė: paleidi ir jis dirba. Realybėje tai greičiausias kelias į brangią katastrofą. Agentas, turintis prieigą prie pinigų, kainų ar klientų pašto dėžutės, vieną naktį gali padaryti tūkstantį veiksmų, ir jei tik vienas iš jų klaidingas ir negrįžtamas, tu apie tai sužinai per vėlai. Human-in-the-loop (žmogus kontrolės grandinėje) yra atsakymas į šią problemą. Tai ne apie tai, kad nepasitiki technologija. Tai apie tai, kad tam tikri sprendimai versle privalo turėti žmogaus parašą, nes klaidos kaina yra per didelė, kad ją paliktum algoritmui.
Šiame straipsnyje paaiškinsiu, kodėl visiškai autonominis agentas be patvirtinimo taškų yra rizika, ką konkrečiai reiškia žmogaus patvirtinimas, kaip veikia pasitikėjimo ribos ir eskalavimas, kokie veiksmai turi eiti per žmogų, o kokie gali būti automatiniai, ir kaip visa tai suprojektuoti praktiškai.
Kodėl visiškai autonominis agentas yra rizika
Problema ne ta, kad AI agentas dažnai klysta. Geras agentas klysta retai. Problema ta, kad kai jis klysta, jis klysta greitai, masiškai ir įsitikinęs savo teisumu. Žmogus, padaręs klaidą sąskaitoje, sustoja ir suabejoja. Agentas be stabdžių tą pačią klaidą pakartos keturiasdešimt kartų, kol niekas nepastebės.
Pagrindinės autonominio agento be patvirtinimo rizikos:
- Negrįžtamumas. Išsiųstas laiškas, atliktas mokėjimas ar ištrintas įrašas atgal negrįžta. Skirtingai nei juodraštis, kurį gali pataisyti, šie veiksmai turi realias pasekmes iškart.
- Masto efektas. Klaida, kuri žmogui nutiktų vieną kartą, agentui gali pasikartoti šimtus kartų per valandą, nes jis dirba be pauzės ir be abejonės.
- Konteksto trūkumas. Agentas nemato viso vaizdo. Jis nežino, kad tas klientas vakar skambino piktas, arba kad ta kaina yra strateginė nuolaida partneriui. Formaliai teisingas veiksmas gali būti verslo prasme žalingas.
- Manipuliacijos. Agentą, skaitantį išorinius laiškus ar tinklalapius, galima apgauti (prompt injection). Piktavalis gali įterpti instrukciją, kurią agentas įvykdys, jei niekas netikrina jo veiksmų.
- Atskaitomybės vakuumas. Kai nėra patvirtinimo taško ir žurnalo, po klaidos neįmanoma pasakyti, kas nusprendė ir kodėl. Tai teisinė ir vadybinė problema.
Išvada paprasta: autonomija yra puiki, kol veiksmas yra pigus ir atšaukiamas. Kai veiksmas brangus ir negrįžtamas, autonomija tampa neapskaičiuota rizika.
Ką reiškia žmogaus patvirtinimo taškas
Žmogaus patvirtinimo taškas (approval gate) yra vieta agento darbo sraute, kurioje jis sustoja ir laukia sprendimo iš žmogaus, prieš tęsdamas. Svarbu suprasti, ko tai NĖRA: tai ne žmogus, sėdintis prie kiekvieno žingsnio ir spaudžiantis „toliau”. Tokia sistema panaikintų visą automatizacijos naudą.
Teisingai suprojektuotas patvirtinimo taškas atrodo taip: agentas atlieka visą paruošiamąjį darbą pats (surenka duomenis, patikrina, suformuoja pasiūlymą), o žmogui pateikia jau baigtą sprendimą su aiškiu kontekstu. Žmogus mato, ką agentas siūlo daryti, kodėl ir kokios pasekmės, ir per kelias sekundes patvirtina arba atmeta. Darbo valandos virsta sekundėmis, bet paskutinis žodis lieka žmogui.
Geras patvirtinimo taškas visada pateikia tris dalykus: ką agentas nori padaryti, kodėl (koks pagrindas ir duomenys), ir ką galima atšaukti, jei sprendimas klaidingas. Jei žmogus turi pats rinkti informaciją, kad galėtų patvirtinti, taškas suprojektuotas blogai.
Pasitikėjimo ribos ir eskalavimas
Ne visi veiksmai reikalauja to paties dėmesio. Čia įsijungia pasitikėjimo ribos (confidence thresholds). Kiekvienam veiksmui priskiri ribą, žyminčią, koks agento pasitikėjimo lygis reikalingas, kad veiksmas būtų vykdomas automatiškai. Žemiau ribos veiksmas eskaluojamas žmogui.
Logika tokia:
- Aukštas pasitikėjimas + maža rizika → agentas vykdo pats ir tik pažymi žurnale.
- Aukštas pasitikėjimas + didelė rizika → agentas paruošia, bet žmogus tvirtina.
- Žemas pasitikėjimas + bet kokia rizika → agentas nevykdo, o eskaluoja su savo abejonės paaiškinimu.
Svarbiausia taisyklė: ribas nustatai pagal riziką, o ne pagal patogumą. Pinigų pervedimui riba turi būti tokia, kad jis praktiškai visada eitų per žmogų, net jei agentas labai „pasitiki”. Naujienlaiškio juodraščiui riba gali būti žema, nes klaidos kaina menka.
Eskalavimas taip pat turi turėti aiškų kelią. Kai agentas nežino, jis neturi spėlioti ir tikrai neturi tylėti. Jis turi perduoti klausimą žmogui su konkrečia informacija: ką bandė daryti, kur užstrigo, kokie galimi variantai. Tylus agentas, kuris slepia savo abejones, yra pavojingesnis nei atvirai klystantis.
Kokie veiksmai eina per žmogų, o kokie automatiniai
Tai esminis projektavimo sprendimas. Bendra taisyklė: kuo negrįžtamesnis ir brangesnis veiksmas, tuo tikriau jis turi turėti žmogaus parašą. Toliau pateikta lentelė (pavyzdys, pritaikytina kiekvienam verslui atskirai) rodo logiką.
| Veiksmo tipas | Rizikos lygis | Ar reikia žmogaus? | Mechanizmas |
|---|---|---|---|
| Pinigų pervedimas, mokėjimai | Kritinis | Taip, visada | Privalomas patvirtinimo taškas + antra tapatybės patvirtinimo grandis dideliems sumoms |
| Kainų keitimas parduotuvėje | Aukštas | Taip | Agentas siūlo naują kainą su pagrindimu, žmogus tvirtina prieš publikavimą |
| Išorinis laiškas klientui ar tiekėjui | Aukštas | Taip (svarbiems) | Juodraštis paruošiamas automatiškai, siunčiama tik po patvirtinimo |
| Sutarties ar teisinio dokumento pasirašymas | Kritinis | Taip, visada | Žmogaus parašas privalomas, agentas tik ruošia projektą |
| Duomenų ar įrašų trynimas | Aukštas | Taip | Patvirtinimas + atšaukimo langas (soft delete), o ne tiesioginis pašalinimas |
| Vidinio pranešimo ar ataskaitos ruošimas | Žemas | Ne | Automatinis, tik registruojama žurnale |
| Duomenų rinkimas ir analizė | Žemas | Ne | Automatinis, rezultatas pateikiamas žmogui peržiūrai |
| Juodraščių ir pasiūlymų generavimas | Žemas | Ne | Automatinis, tampa patvirtinimo taško įvestimi |
| Įspėjimų ir anomalijų žymėjimas | Žemas | Ne (bet eskaluoja) | Automatinis stebėjimas, ribą peržengus siunčia signalą žmogui |
Bendras principas: automatizuok viską, kas pigu ir atšaukiama; stabdyk viską, kas brangu ir negrįžtama. Toks pasiskirstymas paprastai reiškia, kad 80-90 proc. rutininio darbo agentas atlieka pats, o žmogaus dėmesio reikia tik keliems procentams veiksmų, kurie tikrai svarbūs.
Auditas ir atsekamumas
Jei negali įrodyti, ką agentas padarė ir kodėl, sistema nekontroliuojama, net jei atrodo tvarkinga. Kiekvienas agento sprendimas turi palikti pėdsaką audito žurnale. Minimalus įrašas apima:
- Kada veiksmas įvyko arba buvo pasiūlytas.
- Ką agentas nusprendė ir kokį veiksmą atliko.
- Kodėl – kokie duomenys ir pasitikėjimo lygis buvo sprendimo pagrindas.
- Kas patvirtino – jei veiksmas ėjo per žmogų, kieno parašas jį leido.
- Koks rezultatas – ar veiksmas pavyko, ar buvo atšauktas.
Audito žurnalas nėra biurokratija. Tai vienintelis būdas išanalizuoti klaidas (kur sistema suklydo), apginti verslą ginče (kas ir kada patvirtino) ir tobulinti agentą (kokie eskalavimai kartojasi, ką galima automatizuoti saugiau). Be žurnalo tu tiesiog pasitiki ir meldiesi.
Kaip tai projektuojama praktiškai
Patikima human-in-the-loop sistema veikia pagal aiškų šešių žingsnių ciklą. Kiekvienas žingsnis turi savo paskirtį ir jokio negalima praleisti.
| Žingsnis | Kas vyksta |
|---|---|
| 1. Pastebi | Agentas fiksuoja įvykį ar užduotį (nauja sąskaita, kainos anomalija, klientas laukia atsakymo) |
| 2. Tikrina | Surenka reikiamus duomenis, patikrina taisykles, įvertina savo pasitikėjimo lygį |
| 3. Siūlo | Suformuoja konkretų sprendimą su pagrindimu ir galimomis pasekmėmis |
| 4. Žmogus tvirtina | Jei veiksmas peržengia rizikos ribą, sustoja ir laukia patvirtinimo |
| 5. Vykdo | Po patvirtinimo (arba automatiškai, jei riba leidžia) atlieka veiksmą |
| 6. Matuoja | Registruoja rezultatą žurnale ir grąžina duomenis sistemos tobulinimui |
Praktiniai patarimai kuriant tokią sistemą:
- Pradėk nuo griežtų ribų ir jas atlaisvink. Iš pradžių leisk per žmogų daugiau veiksmų, nei atrodo būtina. Kai sukaupsi duomenų ir įsitikinsi patikimumu, palaipsniui automatizuok tuos, kurie stabiliai teisingi.
- Patvirtinimą daryk lengvą. Jei žmogui reikia dešimties minučių, kad suprastų, ką tvirtina, jis pradės tvirtinti neskaitęs. Geras taškas leidžia apsispręsti per sekundes.
- Numatyk atšaukimo langą. Kur įmanoma, vietoj negrįžtamo veiksmo naudok atidėtą vykdymą arba soft delete, kad klaidą būtų galima ištaisyti.
- Grupuok patvirtinimus. Vietoj keturiasdešimt atskirų prašymų pateik vieną paketą su galimybe patvirtinti visus arba pažymėti išimtis.
Human-in-the-loop nėra kompromisas tarp automatizacijos ir kontrolės. Tai būdas turėti abu vienu metu: agentas atlieka sunkų darbą, o žmogus išlaiko sprendimų vairą ten, kur tai svarbu. Būtent tokią architektūrą laikome brando pozicija – agentai veikia patys, bet svarbiausius sprendimus tvirtina žmogus.
Jei nori tokios sistemos savo versle, pradėk nuo AI agentų diegimo paslaugos arba pažiūrėk, kaip mokome komandas projektuoti agentų sistemas. Įmonėms siūlome pritaikytus sprendimus, o rezultatų skiltyje rasi realių diegimų pavyzdžių. Turi klausimų? Susisiek.