第一高等学校を卒業。1924年東京帝国大学法学部卒業。内務省に入る。官界入りは佐藤栄作元首相と同期。1941年同期のトップを切って40代早々で大分県知事に抜擢された。1942年内務省に帰任地方局長。1945年内務次官。自由民主党結党に参加。1980年第36回衆院選まで連続当選12回。1956年石橋内閣の文相として初入閣。岸、池田、佐藤の各内閣で文相6回、池田内閣で厚相1回。岸内閣の文相当時、首相の政治姿勢を批判して池田、三木両相と共に閣僚を辞任（三閣僚辞任事件）、その骨っぽさが話題となった。一方、三木内閣当時、党総務会長として”三木おろし“に揺れる党内抗争を収拾して「調整役の灘尾」として名を上げた。1970年　春の叙勲で勲一等旭日桐花大綬章を授章。1979年大平内閣当時、与野党伯仲国会の運営役に乞われて衆議院議長に就任。1989年広島県名誉県民に顕彰。

1994年（平成6年）没。