En 1901, il construit la villa Majorelle à Nancy. C'est le meilleur exemple de l'architecture de l'école de Nancy, construit par un architecte parisien qui bientôt abandonnera ce formalisme littéraire pour une architecture plus épurée. En 1912, Sauvage abandonne ses exercices d'Art nouveau pour une recherche méthodique d'habitat rationnel. Il construit un immeuble d'appartements, 26, rue Vavin, à Paris. Redéveloppant l'idée de la cité-jardin, il construit cet immeuble dans lequel l'intimité et la vue dont on jouit de chaque appartement sont assurées par un système de gradins. Sauvage reprendra cette idée, en la systématisant, et dessinera même des villes en gradins, se rapprochant intuitivement de son contemporain italien Sant'Elia. En 1924, bien avant Le Corbusier, Sauvage construit, 26, rue des Amiraux, sur un financement de logement social, une unité d'habitation collective (dotée d'une piscine) dans laquelle les services sont rationnellement regroupés. Sauvage développe son idée de structure d'habitation dans des éléments du vocabulaire Art nouveau (bow-windows et loggias très arrondies), ainsi que dans l'assemblage des volumes et des toitures à pente très prononcée des modèles régionaux.
Un sélection de ses réalisations est à retrouver dans le Musée virtuel du logement social
