Když potřebujete odpovědi z vlastních dat: stavba RAG systému

Vektorová databáze ukládá vektory a umožňuje rychlé vyhledávání podobnosti. Mezi populární patří FAISS, Milvus nebo Qdrant, ale můžete začít i s jednoduchým numpy řešením pro malé kolekce. Při výběru zvažte, kolik dokumentů budete mít. Pro tisíce dokumentů postačí lokální řešení, pro miliony potřebujete distribuovanou databázi. Důležité je nastavit metriku podobnosti – kosinová vzdálenost je standard pro většinu embedding modelů.

Náklady na zavedení se výrazně liší podle rozsahu a typu nasazení – cloudové služby mívají měsíční paušál, lokální instalace zase jednorázové investice do infrastruktury. Kromě pořizovací ceny počítejte s časem na školení zaměstnanců a s administrativními náklady na migraci dat. Rozpočet by měl zahrnovat i průběžnou správu metadat a revizi nastavených pravidel. Často se podcení potřeba čistit data před migrací: duplicitní záznamy a neplatné smlouvy totiž nový systém jen převezme, neopraví.

První a nejzásadnější chyba: automatizovat všechno najednou. Místo toho, abyste začali u procesů, které vás nejvíc brzdí, koupíte si drahý software, který umí všechno, ale vy ho nevyužijete ani z poloviny. Začněte s jedním konkrétním problémem – třeba s evidencí stavů zásob. Otestujte si, jak vám systém sedne do každodenní práce, a teprve poté přidávejte další moduly, jako je třeba automatické objednávání nebo propojení s účetnictvím.

Samotné vyhledávání je jen polovina úspěchu. Musíte správně zkombinovat nalezené části s promptem pro jazykový model. Definujte si, kolik chunků se má vracet (typicky 3–7). Příliš mnoho kontextu zahltí model a odpověď bude obecná, příliš málo povede k neúplným odpovědím. V promptu explicitně uveďte, že má model odpovídat pouze na základě poskytnutého kontextu. Pokud model nemá dostatek informací, ať řekne, že neví – to zabrání halucinacím.

Implementaci rozdělte na etapy. Nejprve zaveďte čárové kódy pro nejprodávanější položky, pak pro ostatní. Nezavádějte všechny funkce najednou, ale postupně – první týden jen příjem, druhý týden výdej a tak dále. Během této doby sbírejte zpětnou vazbu od pracovníků skladu. Oni nejlépe vidí, kde systém zdržuje nebo kde naopak pomáhá. Pokud narazíte na problém, řešte ho okamžitě, jinak se zaměstnanci vrátí ke starým návykům.

Po zavedení systému přichází na řadu workflow. Standardní proces schvalování – návrh, právní kontrola, podpis, archivace – se v nástroji nastaví jako sekvence kroků s jasnými rolemi. Uživatelé dostanou úkoly a upozornění, ale pozor: automatizace neznamená, že se právník stane zbytečným. Naopak, systém mu uvolní čas na posuzování rizik, protože už nemusí hledat dokumenty po e-mailech. Typická chyba bývá nastavit příliš mnoho schvalovacích úrovní – proces se pak zasekne a lidé začnou obcházet systém tím, že si smlouvy posílají bokem.

Základním stavebním kamenem je kvalitní zpracování dokumentů. Text rozdělte na menší části, tzv. chunking. Velikost chunků závisí na typu textu a modelu, který používáte. Pro odborné články se osvědčují části o 200–400 slovech, pro technickou dokumentaci kratší. Důležité je, aby každý chunk obsahoval dostatek kontextu. Pokud rozdělíte větu uprostřed, vyhledávání ztratí smysl. Používejte překrývání (overlap) mezi chunky, abyste nepřišli o informace na hranicích.

Nejdřív procesy, potom software Typická chyba malých firem spočívá v tom, že chtějí automatizací vyřešit chaotické procesy. Automatizace ale chaos neodstraní, jen ho zrychlí. Začněte tím, že si sepíšete všechny operace – příjem, výdej, vrácení, inventuru. U každé si určete, jak dlouho trvá a kde vznikají chyby. Poté se rozhodněte, co lze zjednodušit, a teprve pak hledejte nástroj. Pokud to uděláte obráceně, budete přizpůsobovat firemní postupy softwaru, což bývá drahé a nepraktické.

Nezapomínejte ani na testování – a to nejen na začátku, ale i po každé větší aktualizaci. Objednejte si zkušební zásilku, projděte celý proces od přijetí na sklad až po expedici. Sledujte, jestli se stavy zásob správně snižují a zvyšují, jestli se objednávky přiřazují správným dopravcům a jestli se nic neztrácí. Typická chyba je, že se testuje jen základní scénář, ale výjimky – vrácené zboží, poškozené kusy nebo změny v objednávce – se nechají být.

Ceny se liší podle počtu generovaných obrázků za měsíc, rozlišení a komerčního využití. Některé služby nabízejí předplatné s limitem počtu obrázků, jiné účtují za kredit. Pokud obrázky potřebujete jen občas, vyplatí se průběžné platby. Pro pravidelné používání je výhodnější měsíční tarif. Pozor na to, že některé levnější varianty mají skrytá omezení – třeba jen pro nekomerční použití. Vždy si přečtěte licenční podmínky, ať nepřekvapeně zjistíte, že váš vytvořený obrázek nesmíte použít v e-shopu.