풍경, 건물 그림의 명수이다. 일곱살에 시를 지을 정도로 재능이 있어 소년 급제했다. 후주 광순(後周 廣順)때 국자감 서학박사를 지내고 얼마후 좌천되었다. 북송때 다시 관직에 나아갔으나 시정을 조롱하다 등주(登州)로 유배가던 중 임읍(臨邑)에서 죽었다. 집과 같은 계화(界畫)를 잘 그려 계화의 전통을 확립했다. 북송초 유도순(劉道醇)은 그가 지은 《성조명화평(聖朝名畫評)》>에서 곽충서의 계화를 가리켜 신품(神品)이라 평했다. 대표작으로 <설제강행도(雪霽江行圖)>가 있다.
