Avec la multiplication des terminaux mobiles et le foisonnement des objets dits « connectés », on assiste à la montée d'un besoin de moyens de communication à tout endroit et en toute situation, accompagné d'un encombrement spectral toujours plus important. Dans ce contexte, si la capacité d'adaptation au canal des modulations multiporteuses permet de bien s'accommoder du besoin de communication en tout endroit, les techniques actuelles, en particulier l'OFDM, souffrent d'une mauvaise localisation fréquentielle et d'un mauvais facteur de crête, ce qui limite leur utilisation dans un contexte embarqué et/ou en présence de fortes contraintes spectrales. Dans cette thèse, nous étudions les modulations multiporteuses au-delà de la cadence de Nyquist. En augmentant la densité de signalisation, ces dernières permettent d'augmenter l'efficacité spectrale. Cela est cependant contrebalancé par l'apparition d'auto-interférence, ce qui rend la réception plus délicate.Sur canal à bruit additif blanc gaussien, on montre comment choisir des impulsions de mise en forme maximisant le rapport signal à interférence plus bruit. On montre que ces dernières permettent d'obtenir une turbo-égalisation linéaire de l'auto-interférence minimisant l'erreur quadratique moyenne. Nos travaux mettent en évidence que ces mêmes impulsions permettent également de réduire le facteur de crête à mesure que la densité augmente. Enfin, sur canal sélectif en fréquence, on vérifie que l'approximation du canal par un coefficient par sous-porteuse est toujours possible. Ces résultats montrent que ce nouveau type de modulation permet d'augmenter l'efficacité spectrale tout en conservant la capacité d'adaptation au canal intrinsèque aux modulations multiporteuses.