岳麓书院祀孔子始于书院初创时期，北宋时曾建礼殿，内塑先师十哲像，画七十二贤。明弘治十八年（1505年），改为大成殿。明正德二年（1507年）守道吴世忠仿郡县学宫之制，建文庙于院左。天启四年（1624年）重修，正式称为文庙。抗日战争时期，被日机炸毁，只存石雕、石狮、石坊、照壁。书院文庙，是历代山长宣扬儒教的重要场所，起着崇尚圣人、推崇学统、劝诫规励、践履识礼的重要作用。现存文庙位于书院左侧，自成院落。由大成殿、崇圣祠、两庑、明伦堂、大成门、石牌楼、照壁等组成。

       大成殿：大成殿是文庙中最主要的建筑。“大成”一词源于《孟子·万章下》：“孔子谓集大成；集大成也者，金声而玉振之也”。“大成”作为殿名，始于宋崇宁三年（1104年），徽宗皇帝“诏辟雍文宣王以大成为名。”自此，天下文庙不论大小皆有大成殿。明代书院大成殿“承以崇台，盘以文石，虬柱云榱，华梁藻井”十分华丽隆重。20世纪40年代重修时，因系民间组织，规制已大不如前。殿内现已恢复明代祭祀规制，列绘孔像及四配十二哲，设祭台、供案、供桌，陈设铏、簋、笾、豆诸礼器，每年春秋亦行丁祭大典。

       崇圣祠：明嘉靖间称启圣祠，建于各学宫，祀孔子先父叔梁讫。雍正元年改为崇圣祠，祀孔子五代先祖。岳麓书院崇圣祠建于清嘉庆二十三年，先是，明正德间守道吴世忠建明伦堂于大成殿后，寻圯。嘉靖九年仍旧址为敬一亭，后因风雨剥蚀，壁半欹斜，院长欧阳厚均移建今址，即其遗址仿学宫之制，建崇圣祠于其上。书院文庙建崇圣祠者实鲜矣，惟岳麓为四大书院之一，乃庙制悉与各学宫等。初建成，壁嵌祠记、助修捐资黎文辅等姓名碑、明副使曾如春“朱张祠记”和湘潭李腾芳《重修岳麓书院碑记》。今复其碑刻，明代天启间李腾芳《重修岳麓书院碑记》为明存原碑。

       两庑：两庑，即大成殿两侧的廊屋。始建于明代，清同治七年（1868年）大修，抗战期间被毁，1944年进行了简易修复。内祀唐开元至明嘉靖间祀典所定先儒，供柱36块。今复原祭孔礼乐制度，陈编磬、琴瑟于其中。

       大成门：现存建筑为清同治七年（1868年）建造。门的正上方悬挂“大成门”匾，两旁悬挂对联：

       道若江河，随地可成洙泗；

       圣如日月，普天皆有春秋。

大成门的石阶前，有一对明代石狮，一公一母，刻工十分传神。

牌楼：为明代建筑。左右各一，南北相望。上有龙雕等饰物。内侧题额分别 “贤关”、“圣域”。外侧题额分别为“德配天地”、“道冠古今”，系对孔子的赞誉。