Optimisation en présence de données incertaines et restreintes

Optimization for Uncertain and Limited Data

• Auteur / Autrice : Lilia Izri
• Direction : Silviu Maniu
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : LaHDAK - Données et Connaissances Massives et Hétérogènes
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Apprentissage séquentiel

Flux de données

Apprentissage par renforcement

Sequential learning

Data streams

Reinforcement learning

Résumé

Le plus souvent, les données nécessaires aux algorithmes ne sont pas disponibles dans leur intégralité. Elles peuvent être limitées par des API propriétaires, par exemple, ou provenir de processus dynamiques ou peu fiables par nature (contenu des réseaux sociaux en ligne, feedback fourni par des humains). Ces deux propriétés constituent une forme d'incertitude des données, dans le sens où on ne peut pas leur faire confiance dans leur intégralité. Même s'il est possible d'obtenir des parties des données (par exemple, des jeux de données publics), il se peut qu'elles représentent une version obsolète et donc peu fiable. Pour remédier à ce problème, une approche prometteuse consiste à utiliser des algorithmes « en ligne », c'est-à-dire des algorithmes qui accèdent de manière séquentielle aux données nécessaires à la résolution d'un problème. L'expression « en ligne » désigne également les algorithmes qui demandent les données nécessaires à la volée, par opposition aux algorithmes « hors ligne » qui utilisent un ensemble de données fixées dès le départ. Cette formulation n'est pas nouvelle : dans la littérature, elle relève de l'apprentissage par renforcement (reinforcement learning, RL). Dans certains cas, nous travaillons avec un sous-ensemble plus spécifique de l'apprentissage par renforcement, dans lequel l'état des agents est discret, le choix se fait entre un ensemble d'options et les récompenses sont tirées de distributions probabilistes, à savoir les bandits manchots (multi-armed bandits, MAB). En plus, le contexte de la décision est important (par exemple, le type de données à collecter, le message qui est transmis) et est directement lié aux options (bras) qui doivent être choisies ; c'est le cadre des bandits manchots contextuels et combinatoires. L'une des tâches les plus importantes de la recherche liée aux données est la collecte – ou l'exploration – de celles-ci. Or, l'accès à ces données est fortement limité. En plus, la collecte de données a un but, qui peut être mesuré quantitativement (par exemple, le nombre de pages parcourues, le nombre de profils sociaux distincts, le nombre de nouveaux éléments découverts), et doit être aussi efficace que possible. La spécificité de mon approche est qu'au lieu d'utiliser des algorithmes standards qui ne sont pas spécifiques à un problème, je cherche à adapter des algorithmes généraux d'apprentissage par renforcement ou des algorithmes de type bandits manchots aux problèmes posés. Il a déjà été démontré que cette approche conduit à un apprentissage plus rapide. Pour les bandits manchots, elle consiste à trouver une estimation des données manquantes, comme l'ont montré mes travaux antérieurs sur la maximisation de l'influence et les systèmes de recommandation dans le cadre de la dynamique d'influence. Parallèlement aux données incertaines, d'importants défis de recherche se posent lorsqu'il s'agit de traiter des ressources restreintes, comme c'est le cas dans les flux de données, qui peuvent contenir une infinité de données en mouvement rapide et en constante évolution. Lorsque le temps de calcul est coûteux ou limité, la seule option restante est de transformer les données en représentations réduites, qui conservent leurs propriétés statistiques. Bien entendu, on peut simplement les échantillonner, mais cela risque de poser des problèmes de biais statistiques et de « concept drift ». Plus intéressant encore, on peut transformer les données, en utilisant diverses techniques : soit en utilisant des structures de données qui contiennent seulement les informations utiles au problème (sketches, filtres de Bloom, locality-sensitive hashing), soit en transformant des données à haute dimension vers des dimensions plus réduites tout en conservant les distances relatives entre les points de données (compressed sensing, projections aléatoires, embeddings). Une direction peu explorée dans ce domaine est celle des sketches pour les algorithmes d'apprentissage par renforcement sur les flux de données, en conjonction avec des bornes de regret.

Most often than not, data needed for algorithms is not available in its full entirety. It can be either be restricted by e.g., proprietary APIs, or can come from processes that are dynamic or unreliable in nature (content on Web social networks, human provided feedback). The two properties are a form of data uncertainty in the sense that one cannot trust it in its entirety. Even if some snapshots of the data exist -- for instance, public datasets -- they may show a version that is outdated and hence unreliable. To alleviate this issue, a promising approach is to use online algorithms -- that is, algorithms that sequentially access only the data that is needed for solving a given problem. 'Online' also means algorithms that ask for required data on-the-fly, as opposed to offline algorithms using all of it. Such formulation is not new: in the research literature, it falls under the reinforcement learning umbrella. Sometimes, we deal with a more specific subset of reinforcement learning, in which the state of the agents is discrete, the choice is between a set of options, and in which rewards are drawn from probabilistic distributions, namely multi-armed bandits (MABs). Moreover, the context of the decision matters (e.g., the type of the data to be collected, the message that is passed) and is directly linked to the options (arms) which are to be chosen; this is the setting of the contextual and combinatorial multi-armed bandits. One of the most important tasks in doing research linked to data is collecting -- or exploring -- it. Yet, as outlined before, access is severely restricted. Moreover, data collection has a purpose, which can be quantitatively measured (e.g., number of pages crawled, number of diverse social profiles, number of new items discovered), and should be as efficient as possible. The specificity of my research is that, instead of using ready-made algorithms that are not problem specific, I am at adapting generic reinforcement learning or multi-armed-bandit algorithms to the problems to be solved. This approach has already been shown to lead to more efficient learning. In multi-armed bandits, it can take the form of finding an estimation of the missing data, as shown in my previous work on influence maximization and recommender systems under influence dynamics. Orthogonally to uncertain data, significant research challenges occur when dealing with limited resources, as occurring in data streams, which can contain an infinity of fast-moving, ever changing data points. When computation is expensive or limited, the only option left is to transform the data into smaller representations, that keep its statistical properties. Naturally, one can simply sample it, but that might create issues with statistical biases and concept drift. More interestingly, one can transform data, using various techniques: either by having data structures that capture information pertaining to the standing queries of the application (sketches, Bloom filters, locality-sensitive hashing), or by transforming high-dimensional data into smaller dimensions while keeping the relative distances between data points (compressed sensing, random projections, embeddings). A direction that is little explored in this area are sketches for reinforcement learning algorithms over data streams, in conjunction with regret bounds on the objective.