대한불교조계종 제8교구 본사인 직지사의 말사로, 경상북도 팔경(八景) 가운데 하나이다. 신라시대 832년(흥덕왕 7) 진감국사(眞鑑國師) 혜소(慧昭)가 창건하여 장백사(長柏寺)라 하였으며, 고려시대인 1186년(명종 16) 각원화상(覺圓和尙)이 지금의 터에 옮겨 짓고 남장사라 하였다.

신라 말 최치원(崔致遠)이 지은 쌍계사 진감국사비에 따르면 ‘당(唐)나라에서 돌아온 국사가 상주 노악산 장백사에서 선(禪)을 가르치니 배우는 이가 구름처럼 모였다’는 기록이 있고, 상주의 명찰(名刹) 모두 진감국사가 창건한 것으로 사적기(寺蹟記)에 기록되어 있다.

그뒤 1203년(신종 6) 금당(金堂)을 신축하였고, 조선시대인 1473년(성종 4)에 중건하였으며, 임진왜란 때 소실된 뒤 1635년(인조 13) 정수선사(正修禪師)가 금당 등을 중창하였다. 조선 중·후기에 걸쳐 몇 차례 영산전(靈山殿)을 중수하였으며, 진영각(眞影閣)과 상로전(上爐殿)이 신축되었고, 1807년(순조 7)에 진허(鎭虛)가 극락전과 조사각을 중건하였다. 다시 1889년에는 보광전, 1903년에는 칠성각, 1907년에는 염불당(念佛堂)을 건립하였다.

1978년 7월 영산전의 후불탱화에서 주불(主佛)과 16나한상을 조성할 때, 석가모니불의 진신사리 4과와 칠보류들을 봉안했다는 기록과 함께 사리 4과와 칠보류가 발견되었다. 극락보전을 비롯하여 영산전, 보광전, 금륜전, 향로전, 진영각, 강당, 일주문, 불이문, 관음선원 등이 현존하며, 부속암자로는 관음전(觀音殿)과 중고암(中高庵)이 있다.

남장사 보광전 목각탱화는 보물 제922호로 지정되어 있는데, 주불 뒤에 있는 후불탱화를 그림으로 그리지 않고 나무로 조각한 것이 특색이다. 극락보전에는 중앙의 아미타불(阿彌陀佛)과 좌우에 관세음(觀世音), 대세지(大勢地) 두 보살을 모셨다. 또한 응향각 안에는 역대 조사(祖師)의 진영(眞影)을 안치하였는데 열두 폭을 주위에 걸어놓았다. 이것은 불화 형식을 갖춘 것으로 명주에 채색하여 그렸는데 탱화와 공통점이 많다.  

이밖에도 극락보전 안에 업경대(業鏡臺) 2점이 안치되어 있으며, 부도골에는 4기의 부도가 있고, 경상북도 민속자료 제33호로 지정된 석장승 1기가 있다. 이곳에서 목판본이 개판되기도 하였는데, 조종경(趙宗敬:1495∼1535)의 《독암유고》 1권과 부록 1권, 이춘원(李春元:1571∼1634)의 《구원시집》 5권 등이 있다.

절 주변의 계곡은 별로 깊지 않으나 입구에 있는 장승은 그 인상이 매우 독특하고 재미있어서 볼수록 정감이 가는 귀중한 유물이다.