De la consistance des formulations de substitution convexes pour l’ordonnancement

• Auteur / Autrice : Clément Calauzènes
• Direction : Patrick Gallinari
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2013
• Etablissement(s) : Paris 6

Mots clés

Mots clés contrôlés

Moteurs de recherche sur Internet

Ordonnancement (gestion)

Temps réel (informatique)

Ingénierie des systèmes

Ordonnancement (informatique)

Résumé

Cette th`ese traite de l’ ́etude de l’apprentissage pour l’ordonnancement, dont les moteurs de recherches du web sont l’une des applications les plus notables. En raison de la taille cons ́equentes des donn ́ees `a traiter, la questiondu passage `a l’ ́echelle des m ́ethodes d’apprentissage est critique. Il est doncinnenvisageable d’utiliser des m ́ethodes d’optimisation directe du risque as-soci ́e `a la mesure d’ ́evaluation de la tˆache qui est g ́en ́eralement un probl`eme NP-difficile. Pour cette raison, lors de la phase d’optimisation, il est d’usagede remplacer la mesure d’ ́evaluation par une fonction de coˆut auxiliaireplus simple `a optimiser (ex : continue, d ́erivable, convexe). Toutefois, ilfaut s’assurer que le coˆut auxiliaire se comporte correctement par rapport`a l’objectif initial qui reste d’optimiser le risque d’ ́evaluation. Il est doncsouhaitable que l’optimisation du risque auxiliaire m`ene `a des solutions op-timales pour le risque d’ ́evaluation. Un tel comportement est ́equivalent `alacalibrationdu coˆut auxiliaire par rapport `a la mesure d’ ́evaluation. Dans cette th`ese, nous nous int ́eressons aux diff ́erentes mesures d’ ́evalua-tion d’ordonnancement et `a la possibilit ́e de construire des coˆuts auxil-iairesconvexes, et donc simple `a optimiser, qui soient calibr ́es avec cesmesures. Le r ́esultat cl ́e de cette th`ese est un th ́eor`eme qui caract ́eriseles mesures d’ ́evaluation pour lesquelles il existe des coˆutsauxiliaires con-vexes et calibr ́es. D’une part, cela nous permet de prouver qu’un certainnombre de mesures d’ ́evaluation courantes, telles que l’Expected ReciprocalRank, l’Average Precision et le Pairwise Disagreement, ne poss`edent pas decoˆut auxiliaire calibr ́e. Cela signifie que l’optimisation d’un risque auxiliaireconvexe m`ene `a des solutions non-optimales pour ces mesures et qu’il fautdonc trouver une alternative `a l’utilisation d’une fonction de coˆut auxiliaireconvexe quand on veut utiliser ces mesures. D’autre part, nous d ́eduisonsdu th ́eor`eme de caract ́erisation, une m ́ethode pour construire explicitementun coˆut auxiliaire convexe et calibr ́e pour les mesures d’ ́evaluation pourlesquelles il en existe. Ensuite, pour les mesure d’ ́evaluation dont la struc-ture g ́en ́erale est similaire `a un Discounted Cumulative Gain, nous montrons que la calibration d’un cout auxiliaire implique une garantie plus forte quela calibration : l’existence d’une borne sur le regret associ ́e au coˆut auxili-aire. Pour un certain nombre de coˆuts auxiliaires convexes, nous calculonsexplicitement ces bornes de regret. Enfin nous proposons une impl ́ementation en C++ de notre m ́ethodede construction de coˆuts auxiliaires convexes et calibr ́es `a travers le frame-work SLF. A l’aide de cette impl ́ementation, nous proposons finalement unevalidation exp ́erimentale de notre m ́ethode.

This thesis studies machine learning techniques for ranking. Due to thenature of the applications – e. G. Web search engines – there is a crucialneed for scalability in learning torank. Thus a direct optimization of therisk associated to the evaluation metric is usually NP-hard – so intractable. Consequently, during the optimization step, it is usual to substitute a surro-gate loss – easier to optimize (e. G. Continuous, differentiable, convex) – to theevaluation metric. To that end, we need to ensure that the risk associatedto the surrogate loss “behaves well” with respect to the initial objective: theoptimization of the evaluation risk. So, a desirable, if not mandatory, prop-erty of the surrogate loss is that the optimization of the surrogate risk leadsto solutions that are also optimal for the evaluation risk. Such a propertyis equivalent to the notion of calibration of the surrogate loss with respectto the evaluation metric. In this thesis, we focus on the different ranking evaluation metrics and onthe possibility to designconvexsurrogate losses – so that we can optimizeefficiently – that are calibrated with respect to these evaluation metrics. The central result of this thesis is a theorem that characterizes the rankingevaluation metrics for which there exist calibrated convex surrogate losses. On the first hand, it allows us to state that several well-known ranking eval-uation metrics – e. G. The Expected Reciprocal Rank, the Average Precisionand the Pairwise Disagreement – do not have any calibrated convex surro-gate loss. It means that the optimization of a convex surrogate loss leadsto solutions that are not optimal for these evaluation metrics. On the otherhand, we deduce from our main theorem a method that, given an evaluationmetric, gives explicit formulae for convex surrogate losses. The resultingconvex losses are calibrated with respect to the evaluation metric if (andonly if) thereexistat least one convex loss calibrated with respect to theunderlying evaluation metric. Then for the evaluation metrics which gen-eral structure is similar to a Discounted Cumulative Gain, we prove that thecalibration of a surrogate loss induces a guarantee stronger than calibration : the existence of a surrogate regret bound. Moreover, we calculate explicitlythese bounds for various convex surrogate losses. Finally, we provide a C++ implementation of our method to designcalibrated convex surrogate losses, namely the SLF framework. Based onthis implementation, we perform an empirical validation of our method