貴溪是南宋四大書院之一的“象山精舍”創(chuàng)建地。象山書院首創(chuàng)于南宋諄熙十四年（公元1187年），當時稱作“象山精舍”。貴溪應天山“陵高而谷邃，林茂而泉清”，陸九淵登而樂之，乃建精舍居焉。學生也悄悄結廬其旁。早晨鳴鼓“揖升講座”，從容授學。講授五年，求學者超過數(shù)千人。當時已負盛名的理學家朱熹寫信給陸九淵說：“聞象山墾辟架鑿之功益有緒，來學者亦甚，恨不得一至其間觀奇攬勝”。

象山書院幾經(jīng)風霜，幾經(jīng)遷徙，直至清同治年間遷至縣城東重建書院，又因戰(zhàn)禍，蕩然無存。然而，它的影響始終存在。它為貴溪乃至相鄰各縣的文化發(fā)展、培養(yǎng)人才做出了突出貢獻。在宋、明時期，貴溪學子中進士者兩百余人。南宋嘉定至淳熙四十四年間，貴溪籍鄭天佑祖孫三代11人中進士。明嘉慶年間有被譽為“精忠貫日月，芳譽溢鄉(xiāng)間”的宰相夏言。有剛正廉潔，“一介不取，一介不予”的應天禮經(jīng)考官江以朝。他被海瑞稱贊為：“江公百世師表，稱之天下不愧，世世不愧”。徐九思、徐貴明父子更是明嘉靖年間有名的為民興利除弊的水利專家。陸象山的哲學思想（包括他的教育思想）由于歷史的局限，固然有許多唯心主義成分。但是，他的“六經(jīng)皆注我，我何注六經(jīng)”的無畏精神；他反對的“自暴、自棄”，強調(diào)“自立、自重，不隨人腳跟，學人言語”的開創(chuàng)精神；他的“往哲之言，因時乘理”的深刻見解，不無可取之處。陸象山以他的博學卓識吸引學生，從而使象山書院成為當時全國著名書院之一。清代學者全祖望評價說：“岳麓、白鹿、麗澤、陸氏之象山，并起齊名，四家之徒遍天下”。