Co je Latency v AI?
Čas mezi odesláním dotazu AI systému a přijetím odpovědi.
Definice
Latency neboli Latence je čas, který uplyne mezi odesláním dotazu nebo požadavku AI systému a přijetím odpovědi nebo výsledku.
Účel
Kritická metrika pro uživatelskou zkušenost, zvlášť důležitá u real-time aplikací a interaktivních AI systémů.
Funkce
Ovlivněna velikostí modelu, složitostí dotazu, hardwarem a síťovými podmínkami.
Příklad
Chatbot s latencí 200ms poskytne téměř okamžité odpovědi, zatímco latence 5 sekund vytváří frustrující zpoždění.
Související
Souvisí s throughput, inference optimalizací a edge computing pro snížení latence.
Chcete se dozvědět více?
Pokud vás zajímá více o Latency (Latence), kontaktujte mě na X. Rád sdílím nápady, odpovídám na dotazy a diskutuji o zajímavostech na toto téma, tak se nebojte zastavit. Těším se na vás!
Co je Test Driven Development (TDD)?
Test-Driven Development (TDD) je přístup k programování, který zdůrazňuje p...
Co je burndown chart?
Burndown chart je vizuální reprezentace, která ukazuje množství zbývající p...
Co je CFD?
Cumulative Flow Diagram (CFD) je vizuální nástroj používaný v Kanbanu k sle...