Edme Armand Gaston d’Audiffret naît à Paris, le 21 octobre 1823. Il est le fils de Florimond Louis, comte d'Audiffret, à l’époque Receveur général des Finances, et de Gabrielle Zoé Pasquier, nièce et héritière du duc Pasquier. Ce dernier, préfet de police de Paris à la fin de l’Empire devenu chancelier de France sous la Monarchie de Juillet, adopte son petit neveu. Sans héritier direct, il vient d’obtenir en 1844 la réversibilité de son titre nobiliaire sur le chef du comte d’Audiffret. En 1862, à la mort du chancelier, celui-ci devient donc duc d’Audiffret-Pasquier.

Suivant l’exemple familial, Gaston d’Audiffret entend faire carrière dans un des grands corps de l’État. En 1845, il est ainsi nommé auditeur au Conseil d’État. La même année, il épouse, le 5 juillet, Jemmy-Mary Fontenillat, qui n’est autre que la belle-sœur de Casimir-Périer. Un beau mariage donc pour celui qui est promu Maître des requêtes en 1848. Entre temps, Gaston d’Audiffret est entré en politique. En 1846, il est élu maire de sa commune, Saint Christophe-le-Jajolet, où se trouve la propriété de Sassy, acquise par son grand oncle.

Sous le Second Empire, Gaston d’Audiffret, membre du conseil d’administration des mines d’Anzin, fait toujours figure de grand notable et est un des principaux représentants de l’opposition orléaniste. En 1861, il est élu conseiller général du canton de Mortrée, dans le département de l’Orne. Cependant, malgré ces succès locaux, le duc d’Audiffret-Pasquier échoue par deux fois, en 1866 ainsi qu’en 1869, à la députation face au baron de Mackau, candidat officiel du Second Empire. Il doit attendre la chute de Napoléon III pour faire son entrée à l’Assemblée nationale, le 8 février 1871.



S’il revendique une certaine indépendance d’esprit, l’élu de la quatrième circonscription de l’Orne, n’en défend pas moins les intérêts des princes d’Orléans. Ceci lui permet d’effectuer des alliances politiques, à droite comme à gauche, et ainsi de se voir confier la présidence de quelques commissions parlementaires. Le duc d’Audiffret-Pasquier est ainsi chargé d’examiner les marchés passés par les administrations depuis le mois de juillet 1871. L’année suivante, il se propose d’étudier la condition de la classe ouvrière française. L’ancien commis de l’État, qui est également directeur du complexe industriel de Decazeville, entend ainsi donner une dimension sociale au programme du parti orléaniste.

A l’Assemblée nationale, le duc d’Audiffret-Pasquier s’empresse de dénoncer les malversations du Second Empire. Les députés décident de faire afficher le texte de son discours dans toutes les communes, ce qui permet au représentant de l’Orne de se faire également connaître des Français. Après que le " chef du Pouvoir Exécutif " se fut prononcé en faveur de la République, il contribue activement à la chute d’Adolphe Thiers, le 24 mai 1873. Fidèle à ses idées et à son parti, le duc d’Audiffret-Pasquier est en effet toujours favorable à la restauration d'une monarchie constitutionnelle. Cependant, le refus du comte de Chambord de tout compromis le conduit à voter pour le septennat présidentiel du maréchal de Mac-Mahon, au mois de novembre 1873. L’intransigeance du prétendant vis-à-vis de l’adoption du drapeau blanc est en effet ressentie comme une provocation par les orléanistes, qui avait auparavant reconnu la primauté de la branche aînée.

D’ailleurs, celui qui est à présent président du centre droit approuve les lois constitutionnelles qui fondent le nouveau régime républicain. Le 15 mars 1875, le duc d’Audiffret-Pasquier est élu président de l'Assemblée nationale. Neuf mois plus tard, il est cette fois-ci désigné comme sénateur inamovible, puis, le 15 mars 1876, président de cette chambre haute. Audiffret-Pasquier est ainsi le premier des quinze présidents du Sénat de la Troisième République. Au mois de janvier 1879, après trois années d’exercice et à la suite du succès de la gauche républicaine aux élections législatives, il doit abandonner cette fonction. Quelques semaines auparavant, le 24 décembre 1878, le duc d’Audiffret-Pasquier est élu à l'Académie française, au fauteuil de Monseigneur Dupanloup, l’évêque d’Orléans.

Au mois d’octobre 1877, le président du Sénat avait décidé de ne pas donner suite aux poursuites contre Victor Hugo initiées par le président du Conseil, le duc de Broglie. L’écrivain venait en effet de publier des extraits de son Histoire d’un crime, à propos du coup d’État du 2 décembre 1851, dans le journal La République française. Ceux-ci mettaient notamment en cause l’attitude de l’armée pendant ces journées. Il s’agissait en effet pour le duc d’Audiffret-Pasquier de protéger un élu, en l’occurrence le sénateur de la Seine, pendant son mandat, suivant les prescriptions qu’imposaient les institutions. Au cours de ses vingt-cinq années de présence à la Chambre haute, sénateur, Audiffret-Pasquier participe aux principaux débats, aux cotés de la minorité conservatrice. Au mois de mars 1880, il s'élève contre le premier des décrets anticléricaux du cabinet Ferry concernant les congrégations non autorisées, et proteste, en juin 1886, contre le sort réservé aux princes d'Orléans suite au vote de la loi interdisant le séjour en France aux chefs des familles qui ont précédemment régné.



Très affecté par le décès de son épouse, au mois de novembre 1903, puis l’année suivante par celui de son fils Denis suite à un accident automobile, le duc d’Audiffret-Pasquier décède à Paris, le 4 juin 1905.