Dans le cadre des séminaires de l’équipe Cornet, Olivier Bilenne (LIA) présentera son travail de recherche sur Implementing fictitious play in partially observable stochastic games, le 24 novembre 2023 à 11h35 en salle de réunion.
Résumé : Des extensions du jeu fictif aux jeux stochastiques ont été récemment examinées en combinaison avec des techniques d’apprentissage par renforcement inhérentes aux processus de décision de Markov. Nous revisitons cette approche dans le contexte des jeux stochastiques partiellement observables. Pour cela, nous considérons un jeu stochastique à somme nulle à deux joueurs (à états finis) où un joueur (l’attaquant) a une visibilité complète sur le système, tandis que l’autre joueur (le défenseur) n’a pas accès à l’état de l’adversaire et doit plutôt composer avec des sources d’information publiques (dans notre contexte : les actions jouées et leurs gains associés). Nous étudions une dynamique de jeu fictif où les joueurs répondent au mieux aux fréquences empiriques estimées des actions de leur adversaire. Cette séquence de jeu demande aux joueurs de former des croyances à la fois sur la stratégie de leur adversaire et sur leur propre gain de continuation (modélisé par une fonction Q), en se basant sur l’information (complète ou partielle) qui leur est disponible. Le schéma d’estimation de la stratégie, en particulier, présente un mécanisme de correction compensant les symptômes retardés dans le cadre partiellement observable, permettant ainsi au défenseur de mieux prédire la stratégie de l’attaquant. Les stratégies de solution de jeu, qui associent les états de croyance à des stratégies mixtes de meilleur choix, sont spécifiées par seulement un nombre fini de paramètres formant un point d’équilibre en ce qui concerne le gain attendu.