1597년 정유재란으로 불타없어졌으나 인조 2년(1672년)에 다시 지었다. 효종 10년(1659년) ‘필암서원’이라 쓴 현판을 직접 내려보내 주셨으며, 1672년 지금의 자리로 옮겨 세웠다. 공부하는 곳을 앞쪽, 제사지내는 곳을 뒤쪽에 배치한 전학후묘(前學後廟) 형태로서 휴식처가 되는 확연루를 시작으로 수업을 받는 청절의 공간을 만들어 사당을 두고 제사를 지냈다