L'administration centrale est dirigée par le pouvoir exécutif, c'est-à-dire par le Gouvernement et à sa tête, le Premier ministre. Selon l'article 20 de la Constitution de 1958, "Le Gouvernement détermine et conduit la politique de la nation. Il dispose de l'administration". Le Premier ministre, en tant que chef du Gouvernement, en est donc le responsable. On dit que l'administration est subordonnée au Gouvernement. Elle est tenue d'appliquer les décisions prises par le pouvoir exécutif.

Le président de la République dispose aussi de compétences administratives, puisque les ordonnances et les décrets (qui encadrent l'action de l'administration) nécessitent sa signature. 

L’administration territoriale, quant à elle, est dirigée par les chefs de l'exécutif local (c'est-à-dire par les élus locaux). Les administrations régionale, départementale et communale dépendent respectivement des conseils régionaux, des conseils départementaux et des maires. Ce sont les collectivités territoriales qui se chargent de la nomination des fonctionnaires territoriaux, par exemple (d'après la loi du 26 janvier 1984, désormais intégrée dans le code général de la fonction publique (CGFP) entré en vigueur le 1er mars 2022.

Certains spécialistes du droit administratif estiment que l’administration a tendance à se "diriger elle-même". Il existe, au sein des différentes administration des habitudes, des "phénomènes de corps", qui peuvent constituer un obstacle à leur direction par le Gouvernement. Les ministres choisissent d’ailleurs souvent, comme membres de leur cabinet, des hauts fonctionnaires de leur ministère qui en connaissent parfaitement les rouages et "l’esprit".

L’administration dispose d'un pouvoir discrétionnaire, qui lui offre la liberté de décider d’agir ou non, mais aussi fixer les modalités de ses actions (comme pour les subventions, l’urbanisme ou les sanctions disciplinaires internes). 

Par ailleurs, l’article 72 de la Constitution prévoit que les collectivités territoriales s'administrent librement.