John Hillerman fit ses débuts à Broadway comme acteur de théâtre en 1959. Il eu des petits rôles dans les films "The Last Picture Show" (1971), "Paper Moon" (1973), "Blazing Saddles", et Chinatown (1974).
À partir de 1975 il commence à être connu comme second rôle et apparaît dans des séries télévisées. De 1976 à 1980 il fut "Mr. Conners" dans une série de télévision populaire "One Day at a Time". Il fut parmi les acteurs principaux dans "Betty White Show" en 1977, comme l'ex mari de Betty White. On le connaît surtout pour son rôle dans la série de télévisée Magnum P.I. auprès de Tom Selleck. Il y joue le rôle de Jonathan Quayle Higgins III ("Higgins"), ancien officier du renseignement britannique. Il obtient pour ce rôle un Emmy Award pour meilleur second rôle dans une série et un Golden Globe Award (1982) comme meilleur second rôle dans une série télévisée.
Hormis Magnum, il fit de courtes apparitions à la télévision dans d’autres séries.
En 1984, il fut l'animateur du "David Hemmings-directed puzzle video Money Hunt".
En 1990 il retourne à la télévision dans le rôle de "Lloyd Hogan" dans la série "The Hogan Family".
En 1993 il joue dans Berlin Antigang "Berlin Break" le rôle de Mac Mackenzie, ex-espion ayant la profession de barman comme couverture.