Throughput vs Latency (Latence)

V metodě Kanban se 'throughput' používá k popisu celkového počtu úkolů nebo pracovních položek, které tým dokáže dokončit během stanoveného období. Tento ukazatel měří produktivitu a efektivitu týmu a používá se k hodnocení a zlepšení výkonu v průběhu času.

Throughput je klíčovým ukazatelem výkonnosti, který pomáhá týmům porozumět jejich kapacitě dodávky a efektivitě.

Throughput se měří počítáním počtu úkolů nebo uživatelských příběhů, které byly dokončeny a dodány v průběhu určitého období, často na iteraci nebo týdně.

Týmy mohou využívat údaje o throughputu k lepšímu sledování zlepšení v jejich procesu dodávky a identifikaci potenciálních úzkých míst.

Throughput je kvantitativní měření toho, kolik práce je dokončeno v čase v rámci systému Kanban.

Může být přirovnáván k výstupu továrny, indikujícímu rychlost, jakou je práce zpracovávána a dodávána.

Latency neboli Latence je čas, který uplyne mezi odesláním dotazu nebo požadavku AI systému a přijetím odpovědi nebo výsledku.

Kritická metrika pro uživatelskou zkušenost, zvlášť důležitá u real-time aplikací a interaktivních AI systémů.

Ovlivněna velikostí modelu, složitostí dotazu, hardwarem a síťovými podmínkami.

Chatbot s latencí 200ms poskytne téměř okamžité odpovědi, zatímco latence 5 sekund vytváří frustrující zpoždění.

Souvisí s throughput, inference optimalizací a edge computing pro snížení latence.