Nato nel 1946 a Metz, è stato direttore dell’Ecole Nationale Supérieure des Beaux-Arts a Parigi (1979-1982), direttore del Musée national d’art moderne (1982-1985), assessore agli eventi culturali di Parigi (1992-1996) e direttere del Georges Pompidou Centre (1996-2002).
Nel maggio del 2002 è stato nominato ministro della Cultura e della Comunicazione, posizione che ha occupato fino al marzo 2004. Nell’aprile del 2005 è stato scelto come direttore generale di TV5 Monde e presidente di Transtélé Canal France International (CFI).

Jean-Jacques Aillagon abbandona questi ruoli nell’aprile del 2006 e accetta di diventare direttore generale di Palazzo Grassi su invito di François Pinault. Sotto la sua guida, Palazzo Grassi ha presentato le prime mostre dedicate alla Collezione François Pinault - "Where Are We Going? Selections from the François Pinault Collection", "The François Pinault Collection, a Post-Pop Selection" e "Sequence 1, Painting and Sculpture in the François Pinault Collection" – e una mostra dedicata all’arte moderna: Picasso, la joie de vivre, 1945-1948. E’ sotto la sua direzione che Palazzo Grassi ha avuto la concessione di operare a Punta della Dogana per trasformarlo nel centro d’arte contemporanea della François Pinault Foundation.

Nel giugno del 2007 Jean-Jacques Aillagon ha ceduto il suo ruolo di direttore di Palazzo Grassi per diventare presidente del Etablissement public du musée ed du domaine national de Versailles. Tuttavia, il suo contributo a Palazzo Grassi continua: è stato infatti curatore della mostra storica Roma e i Barbari (gennaio-luglio 2008)