到了明朝，只设国子监，不设太学，因此国子监同时接收由皇帝指派的贵族子弟和由地方官保送的平民子弟。南京的国子监，是明朝初年全国的最高学府，它最盛的时候曾经拥有万名学生，除本国的学生外，还有高丽、日本、琉球和暹罗（今泰国）等邻国的留学生。有校舍1200余间，堪称当时世界上规模最大的高等学府。国子监的范围，东起小营，南至珠江路，西临进香河，北依鸡鸣山。修成贤街贯通南北，建文昌桥连接东西，有“培育贤才，昌明文化”之意。因成贤街的南口、东侧、西侧及国子监南门外，各有一座大牌坊，故称“四牌楼”。这些街名、桥名、地名，沿用至今未加更改。著名的《永乐大典》，就是十五世纪初在南京国子监编成的。这部书共包括两万两千多卷，一万一千多册，这是我国最大和最早的一部百科全书。
国子监的“监”字在此读去声，自然不是指监狱，而是跟钦天监一样，表示官署。确实的，国子监与其说是学校，不如说是学官的衙门，官员即老师，老师即官员。其最高长官－－祭酒也是从四品的不大不小的官。
相传洪武初年，明太祖朱元璋晚宴后喜欢散步，一日信步游至国子监，刚坐定，厨人献上香茗，朱元璋酒后口渴，一饮而尽，觉得此茶醇和可口，朱元璋一高兴就命人赏给厨子一副冠带。皇上恩赐，非同小可，此事惊动了国子监的学生，大家在一起发牢骚，一人在院中故意高声吟诗：“十载寒窗下，何如一盏茶！”朱元璋诙谐地回了一句：“他才不如你，你命不如他！”
究竟这件事是真是假，但至少还有些传奇的色彩，但关于国子监确实有一段血淋淋的事实。明太祖为了要“人才”，对于办学校非常热心。他的办学的政策只有一个字：严。
按照规定，国子监这个衙门每天都要升堂，祭酒和司业坐在堂上，其他属官按次序站在两旁，接受监生的朝拜并质问学业，与其他衙门的升堂办公也没什么太大的区别。
国子监还有严格的监规，监规是朱元璋钦定的，起初只有八条，后来越定越详细，竟达到了五十六条之多。就像现代监狱的犯人要穿囚服一样，监生也要穿制服－－褴衫，不许穿常人的衣服。进了这座大监狱，吃住都在里面了，不能随意出入，要出去，先要获得教官的批准，领“出恭入敬”牌；想请假或回家，是要皇帝亲自批准的，最好别动这个念头。饮食由公家包了，吃的是大锅饭，会餐的时候禁止喧哗，更不许议论伙食的好坏。凡是监生犯规，初犯记过，再犯则用竹篾打五下，三犯打十下，四犯则另外处置：开除，充军或罚充吏役。学生受不了，曾经闹过两次事。第二次闹事的是学生赵麟，出了一张壁报（没头帖子）。太祖闻之，龙颜大怒，把赵麟杀了，枭首示众。
后来，明太祖驾崩，传位给了孙子。最后，小皇帝的叔叔燕王把皇位夺走，改都北京。于是，学生们也随之迁往北京了。
自明成祖永乐年迁都北京后，随着国家政治、经济、文化中心的北移，乃有北、南国子监之分，从此北监渐兴，而南监渐衰。
