Contribution à la génération automatique de tests à partir de modèles et de schémas de test comme critères de sélection dynamiques

Contribution to the automatic generation of tests from models and test schemas as dynamic selection criteria

• Auteur / Autrice : Régis Tissot
• Direction : Jacques Julliand
• Type : Thèse de doctorat
• Discipline(s) : ?
• Date : Soutenance en 2009
• Etablissement(s) : Besançon
• Partenaire(s) de recherche : Autre partenaire : Université de Franche-Comté. UFR des sciences et techniques

Mots clés

Mots clés contrôlés

Design patterns

Mots clés libres

Langage B

Résumé

Cette thèse est une contribution à la conception d'une méthode de génération automatique de tests à partir de modèles (ou MBT -Model Based Testing). Le contexte de nos travaux se situe dans la continuité de ceux effectués autour de l'outil BZ- TT (BZ- Testing Tools) qui permet d'engendrer des tests fonctionnels à partir de modèles décrits en langage B. Les critères de sélection de tests implémentés dans l'outil BZ- TT reposent sur la couverture structurelle du modèle du système à valider en prenant en compte les structures de données et de contrôle de celui-ci. Cette approche ne permet pas de générer de tests à partir de propriétés liées au comportement dynamique du système, par exemple en tenant compte de propriétés basées sur des enchaînements d'opérations. Afin de répondre à cette problématique, un certain nombre de travaux proposent des méthodes où l'expertise humaine est exploitée afin de définir des critères de sélection de tests ''dynamiques''. De tels critères de sélection permettent, à l'ingénieur de définir des stratégies basées sur des propriétés et des aspects du système qu'il souhaite valider. Nos contributions s'inscrivent dans cette voie, tout en visant la complémentarité par rapport à la génération automatique de tests par couverture structurelle du modèle dans un objectif de valorisation des technologies et ressources déployées à cette fin. Notre première contribution est la définition d'un langage de formalisation d'objectifs de tests qui permet d'exprimer des ensembles de scénarios de tests inspirés de propriétés à valider sur le système. Ce langage permet de décrire des schémas de tests à partir d'un formalisme, basé sur celui des expressions régulières, qui permet de décrire des ensembles de scénarios principalement par des enchaînements d'appels d'opération et d'états symboliques. Nous définissons une méthode de génération de tests intégrée à l'outil BZ- TT, afin que celui-ci prenne en compte ce nouveau critère de sélection de tests. Cette méthode permet de réutiliser les technologies d'animation symbolique et de résolution de contraintes de cet outil, ainsi que de conserver les fonctionnalités d'exportation et de concrétisation des tests produits. Dans cette méthode, la seule charge supplémentaire pour l'ingénieur de validation est la définition des schémas de test utilisés comme critère de sélection. Nos dernières contributions, visent à évaluer la complémentarité de notre méthode avec celle de génération automatique de tests par couverture structurelle du modèle. Nous proposons une méthode d'évaluation de la complémentarité entre deux suites de tests. Cette méthode est basée sur le calcul de la couverture d'états et de transitions des suites de tests sur une abstraction du système. Enfin, nous appliquons cette méthode à trois études de cas (deux applications de type carte à puce et un système de gestion de fichiers Posix), et nous montrons la complémentarité qu'elle apporte.

This PhD thesis is a contribution to the conception of an automatic Model Based Testing (MBT) approach for test generation. The framework of our works is the BZ-TT (BZ-Testing Tools) technology, that allows for generating functional tests from models written in B. The test selection criteria implemented in BZ- TT ensure structural coverage of the model of the system to validate. It takes into account the data and control structures of the model. This approach does not allow for generating tests from properties expressing dynamic behaviors of the system such as properties based on operations sequencing. To address this problem, some works propose to involve human expertise to define ''dynamic'' selection criteria. Such selection criteria make it possible for the validation engineer to define strategies based on properties and aspects of the system thet he wants to validate. Our contributions explore this way, and target the complementarity with respect to the tests generated from the structural coverage of the model, in order to benefit from the resources and technology previously deployed for this goal. Our first contribution is the definition of a language for the formalization of test purposes, that allows for expressing test scenarios inspired by the properties to validate on the system. This language is based on a regular expressions-like formalism, and aims at describing scenarios by means of operation calls and symbolic states. We define a test generation method integrated to BZ- TT, so that these tools can take these new selection criteria into account. This way, we can re-use the technics of symbolic animation and of constraint solving of BZ- TT. We also benefit from the functionalities of export and concretization of the produced tests. With this method, the only additional work for the validation engineer is to define the test schemas used as selection criteria. Our last contribution is to assess the complementarity of our method with the automatic generation of tests by structural coverage of the model. We propose a method to assess the complementarity of two test suites. It is based on the computing of the coverage in terms of states and transitions of an abstraction of the system by th test suites. Finally, we apply this method to three case studies (two smart card applications and the POSIX fil management system), and we show the complementarity brought by the method.