V roku [[1934]] bol zvolený do ÚV VKS(b) a od februára 1935 do marca 1939 bol tiež predsedom Ústrednej komisie straníckej kontroly (mocný a obávaný orgán, ktorý uskutočňoval čistky v strane).
Jeho lojalita k [[Josif Vissarionovič Stalin|Stalinovi]] bola bezmedzná. V roku [[1936]] sa Ježov dostal takmer na vrchol pyramídy výkonnej moci v Sovietskom zväze, stal sa ľudovýmĽudovým komisárom vnútorných vecívnútra ([[Narodnyj komissariat vnutrennich del|NKVD]]). Vo funkcii nahradil [[Genrich Grigorjevič Jagoda|Genricha Jagodu]], ktorý sa zrejme začal zdráhať organizovať nezmyselné politické čistky. Ako šéf tejto tajnej polície mal za úlohu uskutočniť generálnu čistku v celej sovietskej spoločnosti, no predovšetkým v strane, v armáde, v štátnej správe a medzi elitou národa. Najskôr však bol preorganizovaný samotný NKVD. Ježov zlikvidoval (väčšinou fyzicky) staré kádre (činnosť rozviedky bola paralyzovaná) a nahradil ich svojimi ľuďmi, ktorí sa neštítili ničoho. Zlegalizoval fyzické násilie pri výsluchoch proti ľuďom, ktorí boli označení za najnebezpečnejších zločincov a za nepriateľov ľudu. Vrchol čistiek (tzv. [[veľký teror]]) prebiehal v rokoch [[1937]] a [[1938]] a Ježov bol ich hlavným vykonávateľom, avšak strojcom a zadávateľom v pozadí bol Stalin. Mnoho obetí sa domnievalo, že za všetko môže NKVD spolu s Ježovom, a že Stalin vôbec netuší, čo sa deje. Ježov realizoval nechválne známy rozkaz 00447 „O prenasledovaní bývalých kulakov, zločincov a iných protisovietskych živlov“, pod hlavičkou ktorého bolo do konca roku 1939 popravených 386 798 ľudí.
Vrcholom Ježovovej kariéry bola oslava 20. výročia sovietskej polície dňa [[20. december|20. decembra]] [[1937]], kde bol Ježov oslavovaný a velebený ako Stalinov nadaný žiak.
