清初以來的畫史畫論中，“四王”始終牢牢占據畫壇的主流地位。而“四僧”作為一個藝術概念的出現，是在民國時期。它既不是一個畫派，也不是一個組織。雖然始終未被當時的“正統”藝術所接受，但是，300年后的今天，“四僧”的作品成為世界各地公私博物館重要的收藏對象，以及市場追逐的焦點。

據收藏家朱紹良介紹，“四僧”這一稱呼的起源是由日本人推動。甲午戰爭以后，大量日僑居住在中國。他們發現石濤、八大山人的作品非常好，但又覺得“二僧”不好聽，于是從周亮工的《讀畫錄》里翻出髡殘和弘仁組成“四僧”。1914年，上海成立中國畫研究院，當時畫界的人就提出，要把弘仁和髡殘也放進去，所以湊到一起組成“四僧”。但也有一種說法認為，最早由日本人提出“三高僧”山水，即石濤、髡殘、弘仁，他們的作品都是以山水題材為主，后來把八大山人加進來，統稱為“四僧”。

南京藝術學院鑒賞老師教師薛翔認為，要探究“四僧”的起源，就要把他們放到當時的歷史背景中去。他對記者講道：“從明代開始，商品經濟已出現端倪，尤其是在南方，繁榮的城市商品經濟市場和士大夫、文人、商紳對新鮮事物的追求和藝術品味的轉變，影響了這一時期藝術家的創作思想。對于藝術家而言融入城市商業氛圍和受到文人賞識非常重要，并且，這一時期的創作思想受董其昌提倡的“南北宗論”影響。在這種背景下一場所謂藝術革命風暴在‘四僧’之前就已經出現了苗頭。”

商品經濟的繁榮以及藝術思想的轉變帶來審美品格和藝術視覺的轉變，原來正統的宮廷藝術不再一統天下，消費群體相應擴大，越來越呈現區域風格和題材的專業化。

周亮工《讀畫記》有記，他最喜歡髡殘，認為髡殘的畫可以和明代文徵明、沈周相較。朱紹良講道：“實際上在當時石濤、八大山人是主流一派，但由于畫作多，最后就變成了一種商品畫。盡管如此，石濤、八大的精品仍然要比髡殘、弘仁的畫價貴。那時的一些鹽商、入清不仕的明末遺民對這四人的畫寄予厚望，所以他們對隱逸畫派這些人的畫作進行追捧，也在宣傳他們。江西巡撫胡亦堂收藏了八大的繪畫，清朝皇室博爾都也收藏石濤的繪畫，他們也喜歡一些新鮮的藝術作品。”