výuka

Užitkové funkce ohodnocují stavy nebo běhy reálnými čísly, úkolem agenta je maximalizovat užitkovou funkci. Každé řešení má své výhody a nevýhody, záleží na typu úlohy, někdy není vhodné používat užitkové funkce vůbec (jak stanovit ta reálná čísla? jak uvažovat v pojmech užitkovosti? jak formulovat úkoly?).

Očekávaná užitkovost pracuje s pravděpodobností běhů: Užitkovost běhu je násobena pravděpodobností, že běh nastane. Maximalizujeme pak sumu přes všechny běhy a vybíráme nejlepšího agenta. To je optimální agent (neexistuje lepší), ale často je takový agent nerealizovatelný. Proto optimální agenty relativizujeme vzhledem k nějakému konkrétnímu stroji (počítači).

Speciální případ užitečnosti běhů: pouze false a true (0 a 1). Prostředí úkolů je pak uspořádaná dvojice prostředí a funkce ohodnocující běhy jako úspěšné a neúspěšné. Obsahuje tedy nejen vlastnosti systému, ale i kritéria, podle kterých bude agent posuzován.

Úspěch agenta lze posuzovat negativně, pozitivně, či pravděpodobnostně. Negativita vyžaduje, aby všechny jeho běhy byly úspěšné, pozitivita vyžaduje, aby alespoň jeden jeho běh byl úspěšný, pravděpodobnost sčítá pravděpodobnosti úspěšných běhů.

Častými typy úkolů jsou úkoly dosažení a úkoly udržení. V úkolu dosažení je definována podmnožina G dobrých stavů, úkolem agenta je dosáhnout alespoň jednoho z nich. V úkolu udržení je definována podmnožina B špatných stavů, úkolem agenta je se jim (všem) vyhnout.

Syntéza agentů. Cílem je mít program, který dostane prostředí úkolů a automaticky vygeneruje agenta, který je v tomto prostředí úspěšný. Program také může vrátit false. Korektní algoritmus vrací agenta, který skutečně bude mít úspěch. Úplný algoritmus vrací false pouze v případě, že úspěšný agent neexistuje.