1937年7月7日抗戰全面爆發后，程潛被任命為抗日大本營參謀總長、第一戰區司令長官、河南省主席、西安行營主任等職務。他立下遺囑，抱著戰死沙場的決心，奔赴抗日前線。在戰場上，他鼓勵將士說:“大敵當前，有進無退。中國雖大，沒有多少地方可退了。戰死在陣地上是最光榮的！”

隨著抗戰進入相持階段，國民政府軍事委員會決定減少指揮層級，對戰區重新進行劃分，取消了廣州、西安、重慶各行營，另設桂林、天水行營，程潛被任命為天水行營主任，負責指導北方各戰區部隊的命令傳達、整備培訓、宣傳教育、通訊聯絡、后勤補給、交通運輸以及地方行政事務、軍法審判等事宜。天水行營在西安設辦事處，程潛可常駐西安。1939年2月1日天水行營正式辦公，蔣鼎文、胡宗南等均登門祝賀。八路軍駐西安辦事處負責人林伯渠也登門訪問。程潛風趣地對北伐時的老友說:“日軍的國旗是太陽旗,我們的行營叫天水,天水可以淹沒太陽，抗日戰爭必然勝利啊!”林伯渠高興地回答:“儒將出語不凡，真是妙語驚人!”

3月7日，日軍飛機轟炸天水行營，程潛等100多名將佐，悉數被掩埋于防空洞內。等洞口被挖開時，64人已在轟炸中殉難，程潛也已休克，經搶救方才蘇醒。程潛蘇醒后為了緩解緊張氣氛，開玩笑說：“像做了一場夢一樣，不要緊，快去救其他的人。”

天水行營本應是西北黨、政、軍最高指揮機關，程潛也想在這里發揮“文通武達之才”，但對于蔣介石的嫡系如胡宗南和軍統戴笠等的活動以及馬鴻逵等地方勢力，程潛基本上無權過問，而對于人事配置，也不能如其所愿。一次，天水行營在西安舉辦參謀班期間，程潛以訓練事務繁忙為由，向軍令部部長徐永昌申請調高級參謀張亮清協助，徐永昌不予回答。程潛將此事反映到蔣介石那里，蔣介石卻將此事交與徐永昌處理。徐永昌隨即告訴程潛“編制不合”，不予辦理。這些事讓程潛“無法施展其抱負”。

雖然如此，程潛任天水行營主任期間，認真處理各項事宜，并忠實執行中山先生遺訓，堅持國共合作，掩護共產黨人、進步人士從事抗日救國活動，還釋放了被扣押的一批共產黨員。當時胡宗南和谷正鼎陰謀破壞國共合作，派綏德專員何紹南到處制造事端。何紹南去西安見程潛，隨身攜帶了許多反共傳單準備散發，遭到程潛的阻止。他對部下說：“何紹南若再胡說，或從中挑撥，你要及時告訴我，不能讓何紹南得逞。現在大敵當前，我們必須兩黨合作，共同抗戰。十八集團軍的官兵在前線浴血奮戰，我們若在后面鬧分裂，那如何得成?”

1940年5月天水行營撤銷，程潛赴重慶任軍事委員會副參謀總長，戰地黨政委員會副主任委員，晉升為陸軍一級上將。