文石書院創於乾隆31年（1766年），因地方士紳貢生許應元、張綿美、監生蔡聯輝等呈請捐獻，由澎湖廳通判胡建偉所創建。名為「文石」，乃其為澎湖特產，「其石五色繽紛，文章炳蔚」，因而命名。

文石書院作為澎湖重要的教育機構，歷來聘請文學造詣深厚的文人雅士主講，也包含澎湖唯一的進士蔡廷蘭。
日本佔領澎湖初期作為野戰醫院使用，後整修改為孔廟，仍聘請文人仕紳擔任管理員。二戰末期美軍空襲澎湖，時任管理人的漢學家吳爾聰未和大部分百姓走避鄉間，仍留守澎湖孔子廟，僅於附近防空壕內避難，避險之餘，還將防空壕取了「偷生窖」、「安樂窩」等雅號，甚至不忘創作詩文暢舒己懷，映照出漢學家愛惜孔廟之餘，對人生也坦然豁達：
年過七三已筭多，死生兩字聽如何？
倘遭爆擊命飛正，隨眾營謀築土窩。
生來無益世分毫，亦到人間走一遭。
眼看賢明爭解脫，獨留癡漢未沙陶。
以及
東山高臥，空谷無音，不聞理亂，鎮日孤吟，
鳴春小鳥，時弄好音，渾如相識，伴我清吟，
別有天地，自成一家，飛云忘世，聊避繁華。

文石書院創建時就建有魁星樓，後來在道光9年（1829年）改建魁星樓於巽方（東南方），澎湖孔廟在1963年重修時，魁星樓是唯一被保留原貌迄今的建築，也是台灣唯一留有魁星樓的書院。其建築平面為四角形，簷廊下四角各有一個拱形開口，因為是書院中的建築，裝飾較樸實，目前建物狀況大致良好，僅魁星樓因保留原貌而被指定為歷史建築。

資料來源：澎湖文石書院的始末及其基本精神、國家文化資產網、國立臺灣歷史博物館