Nouvelle architecture de base de données distribuée tolérante aux pannes, auto-configurable, scalable, sécurisée, décentralisée et haute performance utilisant une technique de fragmentation innovante pour permettre l'utilisation de mécanismes de consensus BFT dans des réseaux à très grande échelle

Novel fault-tolerant, self-configurable, scalable, secure, decentralized, and high-performance distributed database replication architecture using innovative sharding to enable the use of BFT consensus mechanisms in very large-scale networks

• Auteur / Autrice : Siamak Solat
• Direction : Farid Naït-Abdesselam
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2023
• Etablissement(s) : Université Paris Cité
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique PAris DEscartes (Paris ; 1998)
• Jury : Président / Présidente : Samia Bouzefrane
• Jury : Examinateurs / Examinatrices : Samia Bouzefrane, Fabien Coelho, Philippe Calvez, Fériel Bouakkaz
• Jury : Rapporteurs / Rapporteuses : Claudio J. Tessone, Fabien Coelho

Mots clés

Mots clés contrôlés

Blockchains

Cryptographie

Bases de données réparties

Mots clés libres

Fragmentation

Réplication de données

Mécanismes de consensus distribués

Bases de données distribuées

Sharding

Calcul distribué

Tolérance aux pannes byzantine

Cryptographie

Sharding

Data replication

Distributed consensus mechanisms

Distributed databases

Distributed Computing

Byzantine-Fault- Tolerance

Cryptography

Résumé

Cette thèse de doctorat se compose de 6 chapitres. Dans le premier chapitre, en guise d'introduction, nous donnons un aperçu des objectifs généraux et des motivations des réseaux décentralisés et permissionless, ainsi que des obstacles auxquels ils sont confrontés. Dans l'introduction, nous évoquons également la solution irrationnelle et illogique, connue sous le nom de « blockchain permissioned », qui a été proposée pour améliorer les performances des réseaux similaires à Bitcoin. Cette question a été détaillée au chapitre 5. Dans le chapitre 2, nous rendons clairs et intelligibles les systèmes que l'idée proposée, « Parallel Committees », est basée sur de tels réseaux. Nous détaillons les fonctionnalités indispensables et les défis essentiels des systèmes de réplication. Ensuite, dans le chapitre 3, nous discutons des limitations de scalabilité et du faible débit des systèmes de réplication qui utilisent des mécanismes de consensus pour traiter les transactions et comment ces problèmes peuvent être améliorés en utilisant des techniques de sharding. Nous décrivons les défis les plus importants dans le sharding des systèmes de réplication distribuée, une approche qui a déjà été mise en œuvre dans plusieurs systèmes de réplication basés sur la blockchain et, bien qu'elle ait montré un potentiel significatif pour améliorer les performances et la scalabilité, les techniques de sharding actuelles ont encore des limitations de scalabilité et des défis de sécurité. Nous expliquons pourquoi la plupart des protocoles de sharding actuels utilisent une approche d'allocation aléatoire pour distribuer les nœuds entre les shards pour des raisons de sécurité. Nous décrivons également comment traiter une transaction dans un système de réplication partitionné basé sur les protocoles de sharding actuels. Nous expliquons comment un « shared-ledger » partagé sur les shards impose des limitations de scalabilité et des défis de sécurité au réseau, et expliquons pourquoi les transactions « cross-shards » ou « inter-shards » sont indésirables et plus coûteuses en raison des problèmes qu'elles causent, y compris « atomicity failure » et les défis de « state transition », ainsi qu'une passe en revue des solutions proposées. Nous passons également en revue certains des travaux récents les plus remarquables qui utilisent des techniques de sharding pour les systèmes de réplication. Cette partie de l'ouvrage a été publiée sous la forme d'un chapitre de livre (peer-reviewed) in « Building Cybersecurity Applications with Blockchain Technology and Smart Contracts » (Springer, 2023). Dans le chapitre 4, nous proposons une nouvelle technique de sharding, « Parallel Committees », prenant en charge à la fois le « processing-sharding » et le « storage/state sharding », pour améliorer la scalabilité et les performances des systèmes de réplication distribués qui utilisent des mécanismes de consensus pour traiter les demandes des clients (client requests). Nous introduisons une approche innovante et originale pour répartir les nœuds entre les shards à l'aide d'un processus de génération de clé publique qui atténue simultanément l'attaque Sybil et sert de mécanisme de preuve de travail (proof-of-work). Notre approche réduit efficacement les transactions « inter-shards » indésirables, qui sont plus complexes et coûteuses à traiter que les transactions « intra-shards ». L'idée proposée a été publiée dans la conférence IEEE BCCA 2023. Nous expliquons ensuite pourquoi nous n'utilisons pas la structure de la blockchain dans l'idée proposée, un sujet abordé en détail au chapitre 5. Cette explication et clarification a été publiée dans le Journal of Software (JSW), Volume 16, Number 3, May 2021. Et dans le dernier chapitre de cette thèse, le chapitre 6, nous résumons les points importants et les conclusions de cette recherche.

This PhD thesis consists of 6 Chapters. In the first Chapter, as an introduction, we provide an overview of the general goals and motives of decentralized and permissionless networks, as well as the obstacles they face. In the introduction, we also refer to the irrational and illogical solution, known as "permissioned blockchain" that has been proposed to improve the performance of networks similar to Bitcoin. This matter has been detailed in Chapter 5. In Chapter 2, we make clear and intelligible the systems that the proposed idea, Parallel Committees, is based on such networks. We detail the indispensable features and essential challenges in replication systems. Then in Chapter 3, we discuss in detail the low performance and scalability limitations of replication systems that use consensus mechanisms to process transactions, and how these issues can be improved using the sharding technique. We describe the most important challenges in the sharding of distributed replication systems, an approach that has already been implemented in several blockchain-based replication systems and although it has shown remarkable potential to improve performance and scalability, yet current sharding techniques have several significant scalability and security issues. We explain why most current sharding protocols use a random assignment approach for allocating and distributing nodes between shards due to security reasons. We also detail how a transaction is processed in a sharded replication system, based on current sharding protocols. We describe how a shared-ledger across shards imposes additional scalability limitations and security issues on the network and explain why cross-shard or inter-shard transactions are undesirable and more costly, due to the problems they cause, including atomicity failure and state transition challenges, along with a review of proposed solutions. We also review some of the most considerable recent works that utilize sharding techniques for replication systems. This part of the work has been published as a peer-reviewed book chapter in "Building Cybersecurity Applications with Blockchain Technology and Smart Contracts" (Springer, 2023). In Chapter 4, we propose a novel sharding technique, Parallel Committees, supporting both processing and storage/state sharding, to improve the scalability and performance of distributed replication systems that use a consensus to process clients' requests. We introduce an innovative and novel approach of distributing nodes between shards, using a public key generation process that simultaneously mitigates Sybil attack and serves as a proof-of-work mechanism. Our approach effectively reduces undesirable cross-shard transactions that are more complex and costly to process than intra-shard transactions. The proposed idea has been published as peer-reviewed conference proceedings in the IEEE BCCA 2023. We then explain why we do not make use of a blockchain structure in the proposed idea, an issue that is discussed in great detail in Chapter 5. This clarification has been published in the Journal of Software (JSW), Volume 16, Number 3, May 2021. And, in the final Chapter of this thesis, Chapter 6, we summarize the important points and conclusions of this research.