Né en 1946 à Metz, il a été successivement sous-directeur de l’Ecole nationale supérieure des Beaux-Arts de Paris (1979-1982), administrateur du Musée national d’art moderne (1982-1985), délégué aux manifestations culturelles de la Ville de Paris (1985-1991), directeur des affaires culturelles de la Ville de Paris (1992-1996), puis président du Centre Georges Pompidou (1996- 2002). Il est nommé en mai 2002 ministre de la culture et de la communication, fonction qu’il occupera jusqu’en mars 2004.
Il a été élu, en avril 2005, président-directeur général de TV5 monde et président de Transtélé Canal France international (CFI). Jean-Jacques Aillagon quitte ces fonctions en avril 2006 et devient, sur la proposition de François Pinault, directeur et administrateur délégué du Palazzo Grassi à Venise.

Sous sa direction, Palazzo Grassi a présenté les premières expositions de la Collection François Pinault – "Where Are We Going? Un choix d’oeuvres de la Collection François Pinault", "La Collection François Pinault, une sélection Post-Pop" et "Sequence1, Peinture et Sculpture dans la Collection François Pinault" - ainsi que l’exposition d’art moderne Picasso, la joie de vivre, 1945-1948. C’est également sous sa direction que le Palazzo Grassi a obtenu la concession d’exploitation de Punta della Dogana à Venise, pour la création du Centre d’Art Contemporain, François Pinault Foundation.
En juin 2007 Jean-Jacques Aillagon a quitté ses fonctions au Palazzo Grassi pour devenir Président de l’établissement public du musée et du domaine national de Versailles. Il a poursuivi toutefois son aventure avec Palazzo Grassi: il a été le commissaire de l’exposition historique Rome et les Barbares, ou la naissance d’un nouveau monde(janvier-juillet 2008).