西雲寺由林作哲獻地，胡焯猷等於乾隆十七年（1752年）興建，開山主持為省源法師，稱【外巖】或大士觀，主祀觀世音菩薩，1720年代，客家胡焯猷陸續開墾泰山、八里、五股、淡水等土地。客家族群在取得五股大片土地後，為了方便管理觀音山獅頭巖山腳下的獅子頭渡船碼頭而興建此廟。由於淡水河系過去可溯大漢溪到今桃園大溪一帶，西雲寺位在淡水河口，因此曾香火鼎盛。早期信眾會搭船從淡水河至五股成子寮下船，先到俗稱「外岩」的西雲寺進香，然後循禮佛古道爬到山上稱為「內岩」的凌雲禪寺參拜。此外，相傳西雲寺周圍有「金龜穴」的風水傳聞，為臺灣著名的墓地。
西雲寺是單殿式帶左右護龍的閩南三合院建築，早期捐助者是以游、劉、胡等客家姓氏為主， 後因爆發閩客械鬥，事後碑上的捐獻者就以陳、林等漳、泉閩籍姓氏為主，從建築樣式、重修碑牌的人物記載及四院週遭的石觀音像等，可清楚看見客家人、閩南人及日治時期、民國時期各個階段不同的面貌所遺留下的軌跡，1985年列入五股唯一的三級古蹟，原本被改成大紅的閩南式建築風格，重新恢復為代表客家族群的藍色調。1926年，日本人在西雲寺與凌雲禪寺間的古道上設立台北西國三十三所靈場，西雲寺周邊有第一番至第十番。據耆老回憶，當時日本人會帶麻糬當供品，沿路一尊一尊拜拜，拜完後就送麻糬當地人吃。每尊觀音設有燭台，部分底座有「台北州台北市施主劉金波捐獻」字樣，但之後隨著時間久遠石觀音陸續被偷，目前寺方保存有第五番如意輪觀音、第六番千手千眼觀世音菩薩、第七番如意輪觀音、第八番十一面觀音、第九番不空羂索觀音此四尊及仿刻三尊(二、三、十番)此寺原為五股的信仰中心，管理權原屬於鄉公所，但交給寺方自行管理後，盛況不再。發生了道、佛宗教與土地產權爭議，造成香火衰退。
