Mi a Latency Budget?
Maximális megengedett késleltetési idő egy AI alkalmazásban.
Meghatározás
A Késleltetési Költségvetés (Latency Budget) egy előre meghatározott maximális időkorlát, amely alatt egy AI rendszernek választ kell adnia a felhasználói kérésekre.
Cél
A latency budget célja teljesítménycélok megszabása és biztosítása, hogy az AI alkalmazás megfeleljen a felhasználói elvárásoknak.
Működés
A költségvetés különböző komponensekre osztható fel: hálózati késleltetés, modell következtetés, és adatbázis lekérdezések.
Példa
Egy valós idejű chatbot 500ms latency budget-tel rendelkezik, amiből 100ms hálózat, 300ms AI következtetés és 100ms egyéb feldolgozás.
Kapcsolódó
- Késleltetés
- Teljesítménymutatók
- SLA (Service Level Agreement)
- Rendszertervezés
Szeretne többet megtudni?
Ha mélyebben szeretne elmerülni a Késleltetési Költségvetés témában — vagy szeretne ilyen jellegű képzést hozni a csapatának — beszéljünk. Segítek a csapatoknak megérteni és alkalmazni ezeket a koncepciókat. Örömmel hallanék felőled!
Mi a Latency az AI-ban?
A Késleltetés (Latency) az AI rendszerekben azt az időtartamot jelenti, ame...
Mi a Human-in-the-Loop (HITL)?
Az Ember a Hurokban (Human-in-the-Loop, HITL) egy olyan AI rendszer tervezé...
Mi a Context Window?
A Kontextusablak (Context Window) azt a maximális szövegmennyiséget jelenti...
Mi a Reasoning Model?
Az Érvelő Modell (Reasoning Model) egy speciálisan fejlesztett AI rendszer,...
Mi a Hallucination az AI-ban?
A Hallucináció az AI kontextusában azt jelenti, amikor egy mesterséges inte...