Apprentissage distribué dans les jeux pour les réseaux sans fil

Distributed learning in games for wireless networks

• Auteur / Autrice : Mohammed Shabbir Ali
• Direction : Pierre Coucheney, Marceau Coupechoux
• Type : Thèse de doctorat
• Discipline(s) : Informatique et réseaux
• Date : Soutenance le 27/06/2017
• Etablissement(s) : Paris, ENST
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Président / Présidente : Jean-Marie Gorce
• Jury : Examinateurs / Examinatrices : Eitan Altman, Johanne Cohen, Olivier Marcé
• Jury : Rapporteur / Rapporteuse : Bruno Gaujal, Ekram Hossain

Mots clés

Mots clés contrôlés

Algorithmes parallèles

Jeux

Apprentissage automatique

Mots clés libres

Apprentissage distribué

Distributed learning

Résumé

Dans cette thèse, nous abordons la question de la conception et de la gestion optimales des réseaux sans fil, qui sont devenus essentiels avec la demande croissante de données. Les approches centralisées deviennent impraticables, tandis que l'apprentissage distribué dans les jeux est une approche distribuée prometteuse. En particulier, les jeux potentiels sont attrayants car les joueurs du jeu peuvent optimiser de façon distribuée une fonction potentielle. Nous étendons cette notion aux jeux potentiels approchés et bruités et étudions la convergence des algorithmes d'apprentissage dans ces cadres. Nous appliquons ensuite les résultats théoriques obtenus aux réseaux sans fil. Dans une première partie, nous prouvons que, dans certaines conditions, l'algorithme d'apprentissage log-linéaire (LLA) et le LLA binaire (BLLA) convergent vers le minimum global de la fonction potentielle dans les jeux potentiels approchés. Nous prouvons alors la convergence de BLLA dans des jeux potentiels bruités pour des températures fixes et décroissantes. Nous fournissons un nombre suffisant d'échantillons d'estimation qui garantit la convergence pour un bruit borné ou non borné. Un facteur clé pour analyser la convergence des algorithmes proposés est la résistance des arbres dans une Chaîne de Markov Perturbée (PMC). Nous développons de nouvelles règles pour simplifier le calcul de la résistance des arbres. Dans une deuxième partie, nous appliquons nos résultats à des problèmes pratiques dans les réseaux sans fil. Nous considérons d'abord l'équilibrage de charge dans des réseaux cellulaires hétérogènes. Dans ce contexte, nous proposons également un nouveau schéma de recuit pour LLA adapté aux horizons finis. Ensuite, nous appliquons BLLA au problème d'assignation de canal (CAP) dans les réseaux de communication de terminal à terminal (D2D). En raison du bruit d'estimation des débits, le cadre de jeu à potentiel bruité se pose naturellement. Nous abordons enfin un problème de maximisation de fonction sous modulaire avec contraintes. Nous le concevons comme un jeu fini avec des joueurs ayant des informations limitées ou inexistantes sur leur voisinage. Nous caractérisons la performance de l'algorithme glouton et nous fournissons le meilleur graphe d'information pour un nombre donné de joueurs et d'arêtes d'information.

In this thesis, we address the issue of optimal design and management of wireless networks, which have become crucial with the increasing demand for data. Centralized approaches are becoming infeasible, while distributed learning in games is a promising distributed approach. Particularly, potential games are attractive as the players of the game can distributively optimize a potential function. We extend this notion to near and noisy potential games, and study the convergence of learning algorithms in these frameworks. We then apply the obtained theoretical results to wireless networks. In a first part, we prove that under certain conditions Log-linear Learning Algorithm (LLA) and Binary LLA (BLLA) converge to the global minimum of the potential function in near potential games. We then prove the convergence of BLLA in noisy-potential games for fixed and decreasing temperature. We provide a sufficient number of estimation samples that guarantees the convergence for both bounded and unbounded noise. A key enabler for analyzing the convergence of the proposed algorithms is the resistance of trees in a Perturbed Markov Chain (PMC). We develop new rules to simplify the calculation of the resistance of trees. In a second part, we apply our results to practical problems in wireless networks. We first consider load balancing in heterogeneous cellular networks and propose a distributed algorithm to minimize an alpha-fairness objective function that captures various network performance and fairness criteria. The near-potential game approach allows us to decrease the size of base station's neighborhood, with which it has to exchange information. In this context, we also propose a new annealing schedule for LLA adapted to finite time horizons. Next, we apply BLLA to Channel Assignment Problem (CAP) in Device-to-Device (D2D) networks. Because of the rate estimation noise, the noisy-potential game framework naturally arises. Moving on from potential games, we address a general constrained submodular maximization problem. We model it as a finite game with players having limited or no information about their neighborhood. We characterize the performance of the greedy algorithm and we provide the best information graph for a given number of players and information edges.