Prototyp na poradě odpoví správně na několik dotazů a tým chce řešení rychle zpřístupnit ostatním. V tu chvíli se ale mění otázka. Už nejde jen o to, zda model dokáže vytvořit přesvědčivou odpověď. Potřebujete vědět, jak se celý systém zachová s jinými daty, oprávněními a očekáváním uživatelů. Přechod do provozu proto začíná přesným vymezením úlohy.
Modelový příklad: interní asistent podpory
Představme si fiktivního asistenta, který z interních návodů připravuje návrh odpovědi technické podpoře. V ukázce pracuje s několika aktuálními dokumenty. V reálné firmě však mohou existovat starší návody, zákaznické přílohy a dokumenty dostupné jen některým týmům. Prvním úkolem je určit, které podklady smí použít a komu se může jejich obsah zobrazit. Nejde o případovou studii klienta Meta Ventures.
Rozdělte výstup a následnou akci
Návrh odpovědi a její odeslání jsou dvě různá oprávnění. Tým si má výslovně domluvit, zda člověk výstup kontroluje, nebo zda aplikace některé kroky provádí sama. OWASP upozorňuje na rizika příliš širokých funkcí, práv a autonomie. Povolení konkrétní akce má ověřovat navazující systém; nestačí spoléhat na to, že model dodrží slovní instrukci. Z obchodního pohledu to znamená vyjasnit odpovědnost dříve, než přibude další integrační tlačítko.
Připravte způsob, jak poznat problém
Vedle běžných dotazů sestavte modelové situace s neúplným podkladem, rozporem nebo informací, kterou uživatel nemá vidět. Pro každou určete, co je přijatelné chování a kdy má asistent přiznat nejistotu. Kontrolujte celý průchod od vstupu po zobrazení výsledku. Doporučení OWASP pro red teaming připomíná, že prověřování zahrnuje více vrstev než samotný model. Jedna zdařilá odpověď tak není akceptačním kritériem celého řešení.
Provoz potřebuje svého vlastníka
Domluvte, kdo kontroluje změny podkladů, kdo vyhodnocuje hlášené chyby a kdo může problematickou funkci vypnout. Sledujte také objem použití, čekání na odpověď a náklady v kontextu konkrétní úlohy. Není nutné začít rozsáhlým dashboardem. Užitečnější může být krátký seznam provozních otázek s odpovědnými lidmi a pravidelným termínem vyhodnocení. Před spuštěním si vyzkoušejte také situaci, kdy navazující služba neodpovídá a uživatel musí pokračovat jinou cestou.
Která odbornost může chybět
AI Integration Engineer může propojit model s aplikací a jejími rozhraními. Data Engineer řeší přípravu datových toků. Pro systematické ověřování může být vhodná zkušenost s AI evaluation; pro přístupy a rizikové akce bezpečnostní specialista. Nemusí jít o čtyři plné úvazky. Nejdřív rozdělte odpovědnosti, zjistěte, co už pokrývá interní tým, a teprve potom hledejte chybějící kapacitu.
Do prvního rozhovoru s partnerem přineste jednu konkrétní úlohu, dostupné systémy, vlastníka výsledku a seznam otevřených otázek. Takové zadání pomůže více než požadavek na obecného „AI experta“. Meta Ventures s vámi může projít potřebné role a způsob ověření zkušeností podle vašeho projektu.