고려시대 지방 유림의 공의로 최치원(崔致遠)의 학문과 덕행을 추모하기 위하여 생사당(生祠堂：생존해 있는 사람을 모시는 사당)을 창건하여 태산사(泰山祠)라 하였다. 고려 말에 쇠약해졌다가 1483년(성종 14) 정극인(丁克仁)이 세운 향학당(鄕學堂)이 있던 지금의 자리로 이전되었다.

그 뒤 1549년(명종 4) 신잠(申潛)의 생사당을 짓고 태산사에 배향하였으며, 1630년(인조 8) 정극인·안세림(安世琳)·정언충(鄭彦忠)·김약묵(金若默), 1675년(숙종 1) 김관(金灌)을 추가 배향하였다.

1696년(숙종 22) 최치원과 신잠의 두 사당을 병합한 뒤 ‘무성(武城)’이라고 사액(賜額)되어 서원으로 개편되었으며, 선현 배향과 지방교육의 일익을 담당하였다.

이 서원은 1868년(고종 5)경 대원군의 서원 철폐시 훼철(毁撤：헐어 부수어서 걷어 버림)되지 않고 존속한 47개 서원 중의 하나이며, 그 뒤 계속적인 중수와 보수를 거듭하여 오늘에 이르고 있다. 현존하는 건물로는 사우(祠宇)·현가루(絃歌樓)·명륜당(明倫堂)·장수재(莊修齋)·흥학재(興學齋)·고사(庫舍) 등이 있다.

사우에는 최치원을 주벽(主壁)으로 하여 좌우에 신잠·정극인·안세림·정언충·김약묵·김관의 위패가 봉안되어 있다. 사우는 1884년에 중수한 것으로, 정면 3칸과 측면 3칸에 홑처마 맞배기와지붕으로 되어 있다.

정면 3칸, 측면 2칸의 2층 누각인 현가루는 중층 팔작기와집으로 되어 있으며, 1층 바닥은 흙으로, 2층은 우물마루로 되어 있다. 강당인 명륜당은 화재로 소실되었다가 1828년(순조 28)에 중건하였다. 정면 5칸과 측면 3칸으로 중앙의 마루와 양쪽 협실로 되어 있으며, 처마는 홑처마이고 지붕은 팔작기와이다.

강당은 원내의 여러 행사와 유림의 회합의 및 학문 강론 장소로 사용되고 있다. 동재(東齋)와 서재(西齋)인 각 4칸의 장수재와 흥학재는 숙종 때 건립되었다가 그 뒤 중수한 것으로, 유생이 기거하면서 공부하는 장소로 사용되었다.

매년 2월 중정(中丁：두 번째 丁日)과 8월 중정에 향사(享祀：제사)를 지내고 있으며, 제품(祭品：제사에 쓰는 음식)은 4변(籩) 4두(豆)이다. 유물로는 ≪기범연의 箕範衍義≫ 1책 등 40여 종의 전적이 있다. 이 서원은 사적 제166호로 지정되어 있다.