据史料记载，唐代的钦山寺依山势而建，布局从低往高，庙宇共四进40余间，寺内供奉神像30多尊，珍藏经籍千余卷。香火旺盛，名驰荆楚。宋、元、明时代，寺庙曾有多次重建与扩建，可惜没有详细记载。前些年，钦山寺出土了一方清代嘉庆六年（1801）冬月所立的《重修钦山缘由碑》，碑文称，钦山高僧“至宋、元、明，代不乏人。迨至国朝康熙年间，有成燮上人住持几载，又有明民和尚接三十余载，在此圆守。于康熙二十年，澧阳缁素定盟至公邑报慈寺，接太祖灰如老和尚，差人同徒树可师太过来到此。几费经营，重为修理，接众安禅，撑持祖庭。四来善士，无不皈崇……乾隆四十六年辛丑岁后，至报慈，接师上嵩下老人周同师过来……师徒不分昼夜，逐年凿积，苦志行郴，叩募五保十方善信，重修大佛殿客堂。工程浩繁，化数百金不可。师将自己钵底余赀捐出助修。至嘉庆元年功德方竣”，此后僧众又“茹苦自甘数年，苦积些微赀财，完善上观音殿、方丈斋堂”等。此后，钦山寺香火盛极湘鄂两省，有僧众数百名，田产数百亩，山林上千亩。寺院规模雄伟，百余间殿宇堂舍，红墙黄瓦，檐牙高啄，辉光紫气，鼓鸣钟扬，气势恢弘。

        然而，经过清末至民国时期的庙产兴学、战时驻军及日军轰炸之浩劫，加上上世纪六十年代“文化大革命”的毁坏，原本辉煌的钦山寺毁损殆尽。直到改革开放后，钦山寺列为常德市第一批恢复活动的佛教寺庙，才开始艰难复兴。上世纪末，县政府为复建、中兴钦山寺，安排县宗教事务局和广大僧众详细制订钦山寺复建规划，并以澧政字[ 1991] 50号文件签发修复钦山寺的报告，同时挑选释演佛回山住赐主持。自2007年开始，钦山寺新的主体建筑三大殿（观音殿、天王殿和大雄宝殿）相继落成。2010年，曾隆重举行建寺1160周年大庆及大雄宝殿落成法会。中国佛教协会副会长、湖南省佛教协会会长、长沙古麓山寺方丈圣辉大和尚及省市县宗教事务管理局负责人、湘鄂边广大僧众等，具至祝贺。今天，重建的钦山寺占地125亩，建筑物5000多平方米，风格古朴，规模宏大，殿宇辉煌，环境优美。禅院集参禅礼佛、学佛修行，弘法教育，修禅养生，旅游观光于一体，受到全县民众和广大善男信女的高度关注与喜爱，声誉日隆，香火日盛，或许能逐渐恢复至昔日之千古名刹的规模。

  关于钦山古刹的史话，或许还有两点值得一提，那就是在近代非常时期，这里曾经举办过新式学堂和战地医院。新式学堂是教人的，战地医院是救人的，这或许与千年古刹的宏旨一脉相承。

        据《林伯渠传》等书介绍，林伯渠的父亲林鸿仪，在戊戌变法失败后从北京回到老家临澧，曾受州府聘请在钦山寺举办新式学堂——钦山寺学馆。学馆于1899年春始业，就读者有澧县、临澧、石门、安乡等县的学生30余人。林鸿仪学养深厚，眼界开阔，担当精神很强，他坚信“时无论古今，地无论中外，纵令处之危险之秋，苟有自强之精神以鼓舞一世，未有终于不振而甘居人下者也”。而且，他认为乐于教人，善于教人，就一国言，为一种优良之世风；就一家言，为一种优良之家风。因此，他当时学生中的不少人后来成为国家的栋梁之才，其中包括林伯渠、林修梅、蒋翊武和中国化学工业的先导者、拓荒者聂汤谷等。这是讲在社会大变革之际，禅院变为书院。

在抗战的非常时期，禅院也曾变为医院。1943年5月和11月，侵华日军曾两次进犯澧县。11月，著名的常德会战爆发，这是整个抗日战争乃至第二次世界大战中都十分重要的一次会战，抗日军民打得异常惨烈，伤亡巨大。当时澧县未被日军占领的仅有澧水南岸的几个乡镇，会战中津澧战场抗日部队的战地医院就设在古大同、钦山寺等处。钦山寺地形隐蔽，回旋余地大，同时便于利用水上交通接送伤员，因此设在此地的战地医院发挥了重要的作用。