výuka

2. přednáška (19. 10. 2005)

Prostředí reprezentujeme konečnou množinou diskrétních stavů (jeden z nich, typicky značený e0, je počáteční) a přechodovou funkcí, která popisuje chování prostředí.

Běh agenta je sekvence (uspořádaná n-tice), ve které se střídají stavy prostředí a akce agenta. Agent reaguje na změnu prostředí nějakou svou akcí, není ale jasné, jestli provedení akce povede ke kýžené (či vůbec nějaké) změně prostředí. Běh může končit akcí nebo stavem.

Přechodová funkce tau je funkce z běhů končících akcí do potence stavové množiny. Prostředí je tedy nedeterministické a závislé na historii. Pokud tau nějakého běhu je prázdná množina, jde o ukončený (a tedy konečný) běh.

Agent je funkce z běhů ukončených stavem na akci. Množinu všech ukončených běhů agenta Ag v prostředí Env značíme R(Ag, Env).

Aby sekvence střídajících se stavů a akcí byla během nějakého agenta, musí začínat počátečním stavem, akce musí být výsledkem agentové funkce a stavy musí být prvkem výsledku přechodové funkce.

Oslabení: Čistě reaktivní agent — neuvažuje historii, funkce Ag je ze stavů do akcí.

Vnímající agent: Funkce see a action. See pozoruje prostředí a přetváří stavy prostředí na vjemy, action přetváří sekvence vjemů na akce.

Stavový agent: Funkce see, next a action. See funguje stejně, next pracuje s vnitřní datovou strukturou stavů, která zaznamenává informace o prostředí a jeho historii. Next přetváří vnitřní stav a vjem na nový stav, action nový stav na akci.

Užitkové funkce. Mohou ohodnocovat stavy nebo běhy reálnými čísly, úkolem agenta je maximalizovat užitkovou funkci. Každé řešení má své výhody a nevýhody, záleží na typu úlohy, někdy není vhodné používatužitkové funkce vůbec (jak stanovit ta reálná čísla? jak uvažovat v pojmech užitkovosti? jak formulovat úkoly?).

Očekávaná užitkovost pracuje s pravděpodobností běhů: Užitkovost běhu je násobena pravděpodobností, že běh nastane. Maximalizujeme pak sumu přes všechny běhy a vybíráme nejlepšího agenta. To je optimální agent (neexistuje lepší), ale často je takový agent nerealizovatelný. Proto optimální agenty relativizujeme vzhledem k nějakému konkrétnímu stroji (počítači).

Čtení

FIPA Abstract Architecture Specifications

Jonathan Dale Margaret Lyell: Towards an Abstract Service Architecture for Multi-Agent Systems

Wikipedia: Utility functions

John T. Langton: Utility Theory

Oliver Obst: Specifying Rational Agents with Statecharts and Utility Functions

Gonçalo Fonseca: Choice Under Risk And Uncertainty

Martha E. Pollack, Marc Ringuette: Introducing the Tileworld: Experimentally Evaluating Agent Architectures

José M. Vidal: Tileworld (hra)