1920年的直皖戰爭，直、奉聯合打敗皖系，把持了北京政權。直系大將吳佩孚成為直魯豫巡閱副使，駐軍洛陽，與地方勢力河南督軍趙倜矛盾加劇。馮玉祥的第十六混成旅由于在擊敗皖系陜西督軍陳樹藩中作戰有功，擴編為第十一師，馮升任師長，不久繼任陜西督軍。1922年4月，第一次直奉戰爭爆發。趙倜見到張作霖打來大獲全勝的電報，又聽說“吳佩孚業已陣亡”，于是命令其弟趙杰和部下寶德全襲擊直系留在河南鄭州的部隊。誰知吳佩孚早已任命馮玉祥為后防總司令，并代理其直魯豫巡閱副使之職。馮玉祥發現鄭州空虛，立即派兵協防鄭州，自己即率衛隊團日行160里趕到洛陽。到5月9日，馮玉祥發起反攻，大破趙部，并追擊趙部殘兵至開封。

戰爭結束后，馮玉祥被任為河南督軍。馮玉祥治豫第一要務即為恢復秩序，安撫人民，首先委任鹿鐘麟為警察廳長。開封城內外治安尤其緊要，馮玉祥親率衛隊出巡，捕獲亂兵數名，就地正法，地方始得安靖。后派李鳴鐘等為各屬鎮守使，以剿匪安民。

馮玉祥還頒布《督豫施政大綱》十條，從嚴查辦貪官劣紳，罰款用來興辦公益事業。他抄沒趙倜全部財產，盡行充公，大辦教育。他派余心清創辦“中州大學”（后改名為河南中山大學）及第一女子中學。馮玉祥還設立平民工廠三處，以為貧民學習工藝的場所。開封滿城內原由旗人居住，現在則給資遣散，使他們與漢人雜處以消弭種族界限。其余禁娼、禁煙、改良市政、興修馬路、疏浚河道等善政，都是凡馮玉祥所到之處肯定一律要做的，概不詳述。

此外，馮玉祥對交通事業也花大力氣改善，原計劃全省建設長途電話及長途汽車公路。只可惜馮玉祥督豫僅4個多月，即行去職，其成績則電話僅得潼關、婦德、許昌三線，汽車公路則僅修周口、潼關兩路而已。其建設計劃及種種政策，沒有全部實現。

在財政方面，馮玉祥以薛篤弼為河南省財政廳長，維持紙幣及銅元票兌現，并停辦苛稅雜捐、清理積弊。當時河南駐軍甚多，軍費浩繁，馮玉祥以節儉廉潔厲行上下，對其他各軍均按時發餉，唯馮玉祥之第十一師則餉不多發，也從未向大城市派款。

馮玉祥就任河南督軍后，馬上進行整訓和擴充軍隊，改編了兩個補充團和一個學兵團，不久又將這三個團擴大為三個混成旅。此時，馮玉祥有了一個師又三個混成旅的實力，馮軍成為了一支舉足輕重的部隊。期間他舉辦了“高級戰術研究會”，由段其澍主持，凡第十一師營副以上軍官均須輪班聽講。其次將“衛隊團”改為“學兵團”，以石敬亭為團長，分三營，挑選嚴格，相當于初級干部之養成所，并將“手槍隊”中又添設“自行車隊”“汽車隊”，購置卡車十二輛，均受軍事訓練，為作戰運輸之用。

自馮玉祥任河南督軍后，勵精圖治，省政一新。時隔不久，“模范軍隊”“平民督軍”等盛譽已蜚聲全國，聲望凌駕于吳佩孚之上。加上馮玉祥屯兵開封，與洛陽的吳佩孚在一條鐵路線上，遂成為吳佩孚的心頭大病。馮就職伊始，吳即索款80萬元，以后每月令繳20萬元，馮玉祥回復說“沒有這個本事”，還槍斃了已經投降吳佩孚的趙倜部下寶德全。馮吳的關系日益惡化，吳佩孚即操縱北洋政府，調馮玉祥到北京任陸軍檢閱使，把馮玉祥逐出了河南。