Honnan tudja egy AI-ügynök, hogy jó munkát végzett?

Röviden: A legtöbb vállalat a beszerzett eszközök alapján méri, hol tart az AI bevezetésében, a korlátot viszont az szabja meg, hogy egy ember hány ügynök munkáját tudja átnézni. Boris Cherny „Steps of AI Adoption” modellje szerint a párhuzamos munka csak akkor válik lehetségessé, ha a jó és a rossz kimenet olyan pontosan meghatározható, hogy azt egy gép is ellenőrizni tudja. A cikk bemutatja, mit jelent ez a gyakorlatban – például egy beszállítóértékelési folyamatban –, és hogyan határozza meg a szerződések, szabályzatok és a folyamatszervezés minősége, meddig lehet eljutni a bevezetés lépcsőjén.

A legtöbb szervezet a beszerzett eszközök alapján méri, hol tart az AI bevezetésében. Hasznosabb kérdés viszont, hogy egy ember hány ügynök munkáját tudja átnézni, mielőtt maga az ellenőrzés lesz a szűk keresztmetszet. Erre a szempontra épül az a modell, amelyet Boris Cherny, a Claude Code egyik megalkotója tett közzé a nyáron Steps of AI Adoption címmel.

Cherny modellje egyszerűen néz ki, a különlegessége a szemléletében van. A legtöbb AI-terv a termékkel kezdődik és a hozzáférések kiosztásával folytatódik, ez a modell viszont azt kérdezi, hol torlódik fel a munka, amikor az AI-ügynökök már dolgoznak. A válasz szinte mindig ugyanoda vezet: csak azt a munkát lehet sok ügynökre kiosztani, amelynek a kimenetét valaki pontosan meg tudja mondani, mi számít jónak és mi rossznak. Ahol ez a definíció megvan, ott skálázódik a dolog, ahol nincs meg, ott egy ember marad a szűk keresztmetszet.

Lépcsőt formázó infografika négy fokkal, alulról felfelé emelkedve. Első fok, A pár: egy ember és egy ügynök dolgozik együtt egy asztalnál. Második fok, Az orchesztrátor: egy ember több ügynököt irányít egyszerre. Harmadik fok, Menedzserek menedzsere: egy ügynök további alügynököknek osztja ki a munkát. Negyedik fok, Irányítás szándék szerint: az ember csak a rendellenességeket figyeli képernyők előtt. A lépcsőt oldalról feliratok kísérik: építs ellenőrző hurkokat, hozz létre dinamikus munkafolyamatokat, válts a szándék szintjére, valamint személyes és szervezeti hatékonyságnövekedés.
Az ügynökhasználat lépcsőfokai az egy emberrel és egy ügynökkel dolgozó pártól az ezer ügynököt indító, szándék szerinti irányításig.

Mit jelentenek a szintek a napi munkában

Az asszisztált szakaszban egy ember dolgozik együtt egy ügynökkel, és minden kimenetet elolvas, mielőtt továbbengedi. A feladat gyorsabb lesz, a munka szerkezete azonban változatlan marad, mert a kolléga ott ül és figyeli, ahogy az ügynök dolgozik. Ez a leggyakoribb állapot, és sokan ezt tekintik a bevezetés végállomásának.

Egy szinttel feljebb, a párhuzamos munkánál ugyanaz a kolléga egyszerre nagyjából tíz ügynököt futtat különböző ügyeken, és a végeredményt nézi át, mert a rendszer közben maga jelzi, ha valami kilóg. Innentől nem csak az egyes kolléga lesz gyorsabb, hanem a szervezet is hamarabb zár le egy ügyet.

A felügyelt önállóság esetén megváltozik a kérdés. Az „átnézted?” helyére az lép, hogy „milyen kontextus hiányzott, és hogyan pótoljuk legközelebb”. A hibát a folyamatban keresik, az egyes kimenet helyett, a nagyságrend pedig már száz ügynök körül jár.

A legfelső fokon, a szándék szerinti irányításnál a munkák nagy részét már maguk az ügynökök indítják, ezer ügynök fölött, az ember pedig csak a rendellenességekre néz rá. Ez ma még inkább irány, mint a hazai nagyvállalati mindennapok valósága, de megmutatja, merre tart a lépcső.

A feltétel, amely a párhuzamos munkához kell

Az ábra legfontosabb üzenete az asszisztált és a párhuzamos szakasz közötti átmenetnél áll. Cherny szerint a párhuzamosításnak egyetlen feltétele van: a modell automatikus ellenőrzésekkel megvizsgálja a saját munkáját, mielőtt bárki ránézne. Az ügynökök számának emelése önmagában semmit nem old meg, előbb ezt az ellenőrzést kell megépíteni, és a többi ebből következik.

Ez magyarázza a területek közötti szórást. Ahol a kimenetről gép is meg tudja mondani, hogy rendben van, ott futhat egy ember mellett tíz munkamenet. Ahol a helyességet csak egy tapasztalt kolléga tudja megítélni, ott a szűk keresztmetszet az ő figyelme marad, és ezen sem ösztönzés, sem eszközbeszerzés nem változtat. A szoftverfejlesztésnél ez a mérce könnyebben megfogalmazható, máshol előbb ki kell dolgozni.

Ennek a különbségnek egyszerű oka van. A szoftvernél a kimenetet szinte azonnal meg lehet mérni, mert a programnyelvben egy kifejezés mindig ugyanazt jelenti, és a gép könnyebben ellenőrzi, ha valami nem stimmel. Az élő nyelv és az üzleti döntés nem ilyen, ott ugyanaz a szó különböző helyzetben egészen mást jelenthet, tehát a mércét külön meg kell fogalmazni. A közös pont viszont mindkét oldalon ugyanaz: az ügynök nem tud olyat megcsinálni, amit az ember előtte nem tudott pontosan definiálni. Kell egy leírás arról, mi a jó és mi a rossz kimenet, elfogadási feltételekkel és példákkal, és ez a leírás az igazi előfeltétel, nem a modell ereje.

Mi a mérce egy üzleti folyamatban

Ha az ügynök kiértékel harminc ajánlatot, rangsorolja őket és javaslatot tesz, mi alapján állíthatjuk, hogy a munkája helyes? A szoftvernél a tesztek elakadnak, ha valami hibás, egy ajánlatértékelésnél viszont nincs ilyen automatikus jelzés, és az „elolvassuk és megérezzük” megoldás egyetlen ügynökig működik.

A válasz már ott van a szervezetekben, csak nem ilyen néven. A jó kimenet meghatározása sok helyen írásban létezik már: eljárásrendben, belső szabályzatban, előminősítési feltételben, jóváhagyási értékhatárban, szerződéses kikötésben. Egy ajánlati körnél ezekből a gép magától eldönti, kinek járt le az előminősítése, melyik ajánlat tér el a rögzített fizetési határidőtől, és melyik javaslat lépi át az aláíró értékhatárát. Ezek megállapításához nincs szükség emberre, mert a feltétel írásban létezik.

Ami marad, azt továbbra is ember dönti el: elfogadható-e egy szállítási kockázat egy stratégiai partnernél, megéri-e a hosszabb átfutás az alacsonyabb árért, és mit kezdünk azzal a beszállítóval, aki most először teljesített gyengébben. A két halmaz szétválasztható, és a felkészülés érdemi munkája éppen a szétválasztás.

Valójában nem is az egész folyamat végeredményét érdemes definiálni, elég az egyes lépések kimenete, mert azt sokkal könnyebb pontosan megfogalmazni. Ha minden lépésről meg tudjuk mondani, mi számít jó eredménynek, akkor a végeredményben is megbízhatunk. Két dolgot viszont reálisan kell látni. A szétválasztás sosem teljes, marad egy mag, amit elvi okból ember dönt el, mert a kellő gondosság vagy a partner megbízhatósága nem fordítható át feltételek sorára. És a leírt mérce önmagában sem elég: a modell félreértheti a helyzetet vagy magabiztosan tévedhet, ezért minden folyamatba kell emberi kontroll, csak kevesebb és célzottabb. A folyamat leírása megnyitja az utat a magasabb szintek felé, de nem elegendő ahhoz, hogy végig is menjen rajta.

Tavasszal egy kerekasztal beszélgetésen azt mondtam, hogy a beszállítói láncot elsősorban a szerződés tartja össze, és csak másodsorban az ERP. Ügynökök mellett ez a gondolat technikai értelmet is kap, mert a szerződés az egyik olyan hely, ahol a jó kimenet feltételei már írásban állnak. Ahol viszont a folyamat még a szerződés előtt jár, ott a mércét a belső szabályzat és az eljárásrend adja, ugyanúgy, ahogy egy új kollégának is ezeket tanítjuk be. A közös bennük az, hogy a feltétel kimondott. Amelyik cégnél mindez csak fejekben vagy szabad szöveges mellékletekben él, ott nincs mihez mérni, és ezt a hiányt erősebb modell nem pótolja.

A munka sorrendje

A sorrend kényelmetlen, mert a látványos rész kerül a végére:

  • Leírhatóság. A folyamat lépései, a döntési pontok és a feltételek kimondott, egységes formában léteznek.
  • Ellenőrizhetőség. A kimenetre olyan szabályok vonatkoznak, amelyeket a gép maga is ki tud értékelni, tehát a rendszer jelzi, ha valami kilóg.
  • Párhuzamosítás. Innentől van értelme egy ember mellé tíz ügynököt tenni.

A Fluenta One tervezésekor a BPMN 2.0 szabvány és a mikrofolyamat alapú felépítés mellett a módosíthatóság miatt döntöttünk: azt akartuk, hogy a munkát kis lépésekben lehessen alakítani, nagy monolit rendszer helyett. Ugyanez a felépítés az, ami később az ügynökös munkát lehetővé teszi. Egy kicsi, önállóan lezárható lépés pontosan az, amit ügynökre lehet bízni, mert a végén megmondható, sikerült vagy sem. Egy harminc lépésből álló, végig emberi mérlegelésre épülő munkánál ez megmondhatatlan, és az ilyen munka akárhány felhasználóval az asszisztált szakaszban marad. Ahogyan a lépéseket kimetsszük, az egyben megszabja, mennyi adható át később ügynököknek. A fejlesztésnél ezt a lépésenkénti mércét könnyebb kimondani, az üzletnél magunknak kell megfogalmaznunk, és a folyamat felépítése ebben segít vagy éppen ezt akadályozza.

Ahonnan sokan el sem indulnak

Van a lépcsőnek egy foka, amiről eddig nem esett szó, mert a legelső lépés előtt áll: a zárt hozzáférés. Itt ügynök egyáltalán nem fut, a hozzáférés jóváhagyási körökön múlik, és a hazai nagyvállalati mezőnyben többen állnak ezen a ponton, mint ahányan magukra ismernének. Cherny ehhez a szinthez a régi biztonsági eljárásokat nevezi meg akadályként, azt is, hogy a döntés a tokenköltség szorítása körül forog az eredmények helyett, és azt is, hogy a technikai szempontok hiányoznak a döntéshozatalból.

Ez a leírás illik azokra a tárgyalásokra, ahol a beszélgetés a havi díjról szól, miközben ugyanannál a cégnél egy ajánlatkérési kör hetekig áll jóváhagyáson. A két összeg nincs egy nagyságrendben.

Amit érdemes megkérdezni

Cherny anyaga gyártói anyag, a terméklistái az Anthropic kínálatát követik, a gondolatmenete ettől függetlenül átvihető. A szintek elnevezése egy magyar középvállalatnál önmagában keveset mond, három kérdés viszont gyorsan megmutatja, hol tart a szervezet:

  • Ha holnap megduplázódna az ügyszám, kinek az asztalán torlódna fel? Ha egy vagy két név jön válaszul, akkor az ő figyelmük a korlát, és ezen újabb eszköz nem segít.
  • Melyik folyamatunknál van írásban, hogy mi számít jó eredménynek? Ahol ez szabályban, szerződésben, értékhatárban létezik, ott az automatizálásnak van hova kapaszkodnia. Ahol egy tapasztalt kolléga fejében, ott nincs.
  • Mi történne, ha egy hétig senki nem nézne rá a rendszerre? A válasz megmutatja, mennyi ellenőrzés van beépítve, és mennyi múlik azon, hogy valaki éppen odafigyel.

A harmadik kérdésre adott válasz szokta a legtöbb meglepetést okozni. Sok szervezetnél kiderül, hogy a folyamatot nem a rendszer tartja egyben, hanem néhány ember rutinja, és amíg ez így van, addig az ügynökök száma keveset változtat az eredményen.

Minél előbb kezdi, annál előbb tapasztalhatja az előnyöket.