作為文房用具之一的鎮紙，擁有很深的文化底蘊。古代文人時常會把小型的青銅器、玉器放在案頭上把玩欣賞，因為它們都有一定的分量，所以人們在玩賞的同時，也會興手用來壓紙或者是壓書，久而久之，發展成為鎮紙。

傳說蔡倫發明紙張的時候，由于紙張從水中撈出以后需要在室外晾曬，但是由于室外風能很大，紙張經常被吹得滿地翻滾，或者被吹壞了，于是晾曬的工人們便隨手在地上撿起一些小石塊把紙張的四個角壓住，這樣的方法既簡單又實用。

中國毛筆書法的特點是字體個頭大，書寫紙張也就大，上等的宣紙質地很輕，很小的風或氣流都會使之翻動甚至被吹跑，從而使書寫受影響，或者使已經寫好的墨寶受到損壞。古代一位著名的大書法家在購買紙張的時候就把自己的這個苦惱告訴了造紙的人。造紙的師傅并不多言，把這位書法家領到晾曬紙張的場院里一看，書法家立刻就明白了。

回到自己的書房，這位書法家才發現他并沒有那樣的小石子，所以就信手拿起自己書房里的硯臺、玉石或其它隨手把玩的工藝品作為壓紙的工具，久而久之，由工人們晾曬紙張時所用的固定紙張的方法也就自然而然地走進文人墨客書房里，而鎮紙和文房四寶一樣成為書房和畫室里必不可少的工具。鎮紙正式進入書房不晚于南北朝時，《南史·垣榮祖傳》：“帝(齊高帝肖道成427-482)嘗以書案下安鼻為楯，以鐵為書鎮如意，甚壯大，以備不虞，欲以代杖”。由此可見，鎮紙至今已逾1500多年。

由于書房是文人雅士的自我天地，古代很多文人騷客都以自己的書房為自己命名，可見書放在文人們心中的地位，所以鎮紙作為重要的書房工具，也就有了各種不同的質地和式樣。

一個著名但并不有趣的關于鎮紙的故事發生在清代，世人皆知的文字獄就是因為世人的書房里由于沒有書畫沒有鎮紙壓覆，而紙頁在微風中翻轉，詩人詩意大發，寫下了“清風不識字，何故亂翻書”的詩句而因此被雍正皇帝以誹謗朝廷罪處死，這位詩人就是當時的翰林官徐駿。

美國伊利諾伊州州立博物館收藏和展出幾百種玻璃鎮紙，在展覽的文字描述中，他們認為世界上最早的有據可查的玻璃鎮紙是在1845年維爾那博覽會上展出的由法國圣路易斯玻璃廠（Saint-Louis glass factory）制造的玻璃鎮紙。