Les effets Pockels de deuxième ordre et les effets Kerr de troisième ordre font partie des effets importants exploités pour la modulation de la lumière et la génération de sources dans les plateformes technologiques de la photonique intégrée. Pour tirer parti de ces non-linéarités en photonique au silicium, l'utilisation de structures optiques sub-longueurs d'onde a été explorée. Dans ce contexte, ce travail de thèse s'est concentré sur deux aspects principaux, notamment : 1) L’exploration d'un nouveau schéma de cavité photonique pour tirer profit de l'effet Pockels électro-optique dans les structures de silicium contraint pour la réalisation de modulateurs ultra-rapides à faible consommation ; 2) L’exploration d'une nouvelle famille de guides d'ondes conduisant à une satisfaction automatique des lois de conservation énergie/vecteur d’onde pour la génération de peignes de fréquence Kerr au sein des plateformes photoniques intégrées (notamment silicium).Pour améliorer les performances des modulateurs optiques Si résonants intégrés, nous avons mis au point un nouveau résonateur à cavité de Fano qui, grâce à une ingénierie sub-longueur d'onde (λ=1.55µm), a permis d'obtenir simultanément un taux d'extinction élevé (23 dB) avec un faible facteur Q de seulement 5600, et caractérisé par une très faible consommation électrique inférieure à 5 fj/bit quand on utilise l'effet de modulation par dispersion plasma des porteurs libres. Nous avons étendu la méthode à la conception d'une structure de modulation Fano en silicium contraint dont les performances souffrent traditionnellement de la faible amplitude de l'effet Pockels induit par la déformation exploitée et des pertes micro-ondes considérables dues à des composants de grande surface. Au moyen du résonateur Fano ultra-compact à structuration sub-longueur d'onde, une amélioration d'environ 200 fois/60 fois (facteurs Q de 32000/5600) du rapport d'extinction de modulation avec la même tension de commande a été théoriquement prévue. Pour améliorer l'exploitation des non-linéarités Kerr des structures silicium, nous avons proposé une nouvelle famille de guides d'ondes optiques pour satisfaire automatiquement les lois de conservation de l'énergie et du vecteur d’onde des procédés de mélange à quatre ondes (FWM). La conception de la section des guides d'ondes est basée sur un principe hérité des puits quantiques et des concepts hérités des structures sub-longueur d'onde pour la réalisation des profils d'indice particuliers. En nous basant sur ces guides d'ondes spécifiques en terme de dispersion chromatique, nous les avons appliqués à la modélisation des micro peignes de fréquence (en utilisant des résonateurs à micro anneaux) en résolvant l’équation non linéaire pertinente (Lugiato-Lefever) pour analyser de façon dynamique le processus de génération du spectre des peignes à solitons dans diverses configurations. En complément de ce modèle, les guides d'ondes sub-longueur d'onde à accord de phase automatique ont été considérés pour étendre la largeur de bande des peignes de fréquence à solitons, démontrant une largeur de bande élargie et une meilleure flexibilité dans la réalisation des peignes de fréquence relativement aux démonstrations des travaux précédents. Dans l'ensemble, l'une des caractéristiques dominantes de notre étude a été de contribuer à montrer que les structures photoniques sub-longueur d'onde pouvaient apporter des solutions concrètes aux problèmes utiles à la réalisation de fonctions non linéaires sur puce. Les nano-structures sub-longueur d’onde permettent non seulement une amélioration des circuits photoniques passifs, sujet intensivement développé depuis dix ans, mais ont également un fort potentiel pour la réalisation des fonctions actives. Cette boîte à outils de structures sub-longueur d'onde est décisive dans la pratique pour la réalisation concrète de fonctions optiques nonlinéaires intégrées, en particulier en photonique silicium.