陈衍自幼随祖父读书写字诵诗, 10岁时已读完《书》、《诗》、《礼》、《易》等国学经典,能将“六朝人文长篇若两都若哀江南诸赋皆背诵如流”,且“终年为诗,日课一首”,还对唐、元、明人笔记、小说广有涉猎。但他在考场上并不如意,屡试屡败,好不容易在光绪八年(1882年)才中举,当时二十七岁,同榜者中还有后来的外国名著翻译家林纾。
1886年曾入台湾巡抚刘铭传幕府,随军招抚当地土著。1886年在北京时,与郑孝胥共同标榜“同光体”,并成为“同光体”闽派的代表人物,其评论著作有《石遗室诗话》。 1895年三、四月间,陈衍到京会试,时值甲午中日战争后期,清政府派李鸿章为全权代表赴日求和签署《马关条约》,举国哗然。陈衍起草、并与林纾等人联名上书都察院,反对割让辽东半岛、台湾等领土。1897年夏,陈衍被公推为《求是报》主笔,在其主事期间,《求是报》的内容包括社论、谕旨恭录、中外新闻、中外法律法规、译文和逸闻、理论科学的译介和小说连载等等,而且每期都有针对中国现状的论说,因此读者日多,风行一时。当时的湖广总督张之洞正是由《求是报》看出陈衍的卓越的才干,于1898年邀请他到武昌,为其写作,并任《官报》局总编纂。1898年春,京城会试之际,变法呼声正高,陈衍作《戊戌变法榷议》,分议相、议兵等十条,提出自己的变法主张。同年,应经济特科试,不中。戊戌变法失败后,《官报》停办,陈衍筹办《商务报》,以研究实业为主,除了连载他同其下属河濑仪太郎翻译的《银行论》、《货币制度论》、《商业经济学》、《商业地理》、《商业开化史》、《商业博物志》、《日本商律》、《破产律》等外,还连载了《欧美商业实势》,对世界各国的经济情况做了大量翔实报道。1907年陈衍到北京任学部主事、并兼京师大学堂文科教习。1911年清朝灭亡后,到南北各大学讲学。1912年12月起,在梁启超主办的《庸言》半月刊上连载,数十万言的长文,旁征博引,侃侃而谈,甚获好评。后来《石遗室诗话》结集出版,风靡一时。“煌煌巨帙,声教远暨海内外,一时豪俊,奔趋其旗之下。”他要续辑诗话的消息传出后,各地诗人竟“争欲得其一言为荣,于是投诗乞品题者无虚日”。他得意地告诉朋友:“海内诗人寄到之集,已阅过者殆满间一屋,而架上案头,有已选佳句不及收入者,尚不可胜计。”陈衍的诗歌理论对“同光体”诗人的上述主张作了较为系统的总结与发展,具有集大成的意义。他的诗作则瓣香白居易、杨万里,多抒发闲适情趣,涵泳山水妙旨,遣词造句,颇具新意,于“同光体”中自成一家。
1916年起编修《福建通志》,5年后《通志》全稿完成,凡600余卷约1000万字,除盐政、水利等数志外,皆由陈衍一人经营编纂。该《通志》于1938年出版,迄今仍是省志中最为完备的一部。
1933年除夕,钱钟书拜会他,当时已年过七旬,钱其时尚在清华读书。可谓忘年之交。钱在英国留学时陈衍还寄给他自己的诗作,其中有“青眼高歌久,于君慰已奢”诗句。钱钟书早年“好义山、仲则风华绮丽之体,为才子诗,全恃才华为之”,陈衍则批评他:“汤卿谋不可为,黄仲则尤不可为”,因而改弦易辙,奉衍若神明。三十年代初,陈衍仍对钱钟书到国外念文学大惑不解:“文学又何必向国外去学呢!我们中国文学不就很好吗?”
陈衍晚年寓居苏州,与章炳麟、金天翮共倡办国学会,并任无锡国学专修学校教授。1937年8月,陈衍在福州病逝,葬于西门外文笔山。