681년(신문왕 1)에 의상(義湘)이 창건하여 고운사(高雲寺)라 하였다. 그 후 최치원(崔致遠)이 승려 여지(如智)·여사(如事)와 함께 가운루(駕雲樓)와 우화루(羽化樓)를 건립하고 이를 기념하여 최치원의 자(字)를 따서 고운사(孤雲寺)로 이름을 바꾸었다. 헌강왕 때는 도선(道詵)이 약사여래석불과 석탑을 안치하였고, 948년 운주(雲住)가 중창하였다.

1018년(현종 9) 천우(天祐)가 대웅전·약사전·극락전·적묵당(寂默堂)·설선당(說禪堂)·동별실(東別室)·서별실(西別室)·관음전·금당(金堂)·백련당(白蓮堂)·회운당(會雲堂)·청풍당(淸風堂)·문수전(文殊殿)·양로당(養老堂)·백련암(白蓮庵) 등을 중창하였다. 극락전에 봉안한 관음상은 천해(天海)가 꿈에서 본 것과 똑같은 불상을 송도 대흥산(大興山)에서 찾아내어 고운사로 옮겨 봉안한 것이라고 한다.

1482년(성종 13) 석가여래불상을 안동 갈라산(葛羅山) 낙타사(駱駝寺)에서 옮겨 와 대웅전에 봉안하였으며, 1646년(인조 24) 소영(昭影)의 사리탑을 건립하였다. 1668년 극성(克成)·승묵(勝默)·덕종(德宗) 등이 가운루를 중수하였고, 처순(處淳)이 천왕문(天王門)을, 설행(雪行)이 봉황문을 신축하였다.

1670년(현종 11) 숭해(崇海)·묘선(妙善)·성준(性峻)·인준(印峻) 등이 명부전을 신축하고 시왕상(十王像)을 조성하였으며, 종헌(宗憲)과 설휘(雪輝)는 영각(影閣)을 짓고 영정을 만들어서 봉안하였다. 1681년(숙종 7) 천왕문을 중수하였고, 1683년 관헌(灌憲)·인잠(印岑)·선초(善初)가 팔상전(八相殿)을 신축하였으며, 1686년 4월 명부전을 중창하였다.

1695년 도청(道淸)과 선조(禪照)가 극락전에 아미타불과 대세지보살상을 봉안하여 이전의 관음상과 함께 삼존불상을 구비하였다. 행옥(幸玉)은 설선당을, 태운(泰運)은 적묵당을 중건하였고, 선특(禪特)과 성담(性談)은 동별실을, 성관(性觀)은 서별실을 중수하였다. 또, 태눌(泰訥)은 청풍당을 중건하였고, 승하(勝下)는 응향각(凝香閣)을, 의율(義律)과 의잠(義岑)은 백련당을 중수하였다.

1724년(영조 즉위년) 법존(法存)·지훈(智勳) 등이 운수암(雲水庵)을 창건하였고, 1729년 신유한(申維翰)이 사적비를 세웠다. 1744년 어첩봉안각(御帖奉安閣)을 건립하였으며, 1797년 의암(義巖)이 백련암을 중창하였다. 1803년(순조 3) 4월 적묵당과 서별실이 화재로 불타 없어지자 1804년 2월 문찰(文察)이 중건하였고, 1812년 의암이 운수암을 중건하였다.

1835년(헌종 1) 2월 백련당·금당·관음전·군포고(軍布庫)·직사고(直舍庫)·영전 등이 화재로 모두 불타 없어지자, 나라에서 홍종호(洪鍾浩)에게 명하여 만송(晩松)·호암(虎巖)·수열(守悅) 등과 함께 대웅전과 금당을 중건하게 하였다. 같은 해 12월 운수암이 불타 없어지자 1838년 함홍(涵弘)이 중건하였고, 1868년 눌암(訥庵) 등이 만성제(晩惺齊)를, 해송(海松)이 우의당(禹儀堂)을 건립하였다.

1899년 포운(抱雲)·혜은(惠隱) 등이 가운루·우화루·동별실·적묵당·연지암(蓮池庵)·천왕문을 중수하였고, 1901년 만선(滿船)과 추산(悉山)이 운수암의 해운루(海雲樓)를, 1902년 연수전(延壽殿)을 건립하였으며, 1904년 포운 등은 금당을 중수하였다.

1906년 안동·예안·의성·지례·선산·금산·용궁·비안·군위·의흥·청송·진보·순흥·봉화·영천군 등에 있는 사찰에 대한 관리를 종무원(宗務院)에서 부여받았다. 1912년 30본산(本山)의 하나가 되었으며, 1913년 2월 사찰령(寺刹令)에 의하여 고운사 본말사법(本末寺法)이 시행되면서 경상북도 내의 46개 사찰을 말사로 관장하였다.

1924년 주지 만우(萬愚)가 약사전을 중수하고 대정암(大定庵)을 창건하였으며, 1935년 주지 영호(泳鎬)가 대웅전을 중수하고 가운교(駕雲橋)를 만들었다. 1936년 명부전과 선열암을 중수하고 천왕문을 옮겨지었다. 또한, 1934년에는 불교전문강원을 개설하였고, 안동 포교당·와룡 포교당·의흥 포교당 등을 두었다.

30본산 당시 논 6만 3,664평, 밭 17만 9,634평, 대지 942평, 사사지(社寺地) 4,189평, 산림 260정(町) 3반(反)을 소유하고 있었으며, 현재는 의성·안동·영주·봉화의 4개 시·군, 54개의 말사를 관장하고 있다. 현존하는 당우로는 대웅전·극락전·관음전·명부전·금강문·가운루·적묵당·우화루·동별실·서별실·금당·회운당·고운대암(孤雲大庵)·고금당(古今堂) 등 총 25동이 있다.

소장된 중요 문화재로는 석조석가여래좌상(보물 제246호)과 삼층석탑(경상북도 문화재자료 제28호), 가운루(경상북도 유형문화재 제151호), 연수전(경상북도 문화재자료 444호), 사적비, 사보(寺寶)로 전해지고 있는 오동학촉대(烏銅鶴燭臺) 등이 있다. 이 가운데 여러 차례 화재로 불타 없어진 후 중수된 가운루나 각각 18세기, 20세기에 세워진 사적비나 연수전과는 달리 석조석가여래좌상과 삼층석탑은 도선이 조성한 것으로 알려져 있다.

삼층석탑은 현재 나한전 앞에 자리 잡고 있다. 2층 기단(基壇) 위에 3층의 탑신(塔身)을 올렸으며, 아래층 기단에는 희미한 안상(眼象) 무늬가 보이고, 위층 기단에는 기둥 모양이 조각되어 있다. 탑신은 1층 몸돌에 비해 2층부터 급격히 줄어들고 있으며, 각 층의 몸돌 모서리마다 기둥 모양의 조각을 두었다. 약한 경사가 흐르는 지붕돌은 네 귀퉁이에서 치켜 올림이 크지 않고, 밑면에 1층은 4단, 2·3층은 3단의 받침을 각각 두었다.

꼭대기에는 노반(露盤: 머리장식받침돌), 복발(覆鉢: 엎어놓은 그릇모양의 장식), 뒤집혀진 앙화(仰花: 활짝 핀 연꽃모양 장식) 등을 올린 머리장식을 하고 있다. 전체적으로 석재가 많이 닳아 있고, 아래층 기단이 특히 심하다. 통일신라의 일반적인 양식을 따르고 있지만, 줄어든 규모나 지붕돌의 조각양식 등에서 시대가 조금 내려간 모습들이 보이고 있어 통일신라 후기의 작품으로 추측된다.