到了明朝，只設國子監，不設太學，因此國子監同時接收由皇帝指派的貴族子弟和由地方官保送的平民子弟。南京的國子監，是明朝初年全國的最高學府，它最盛的時候曾經擁有萬名學生，除本國的學生外，還有高麗、日本、琉球和暹羅（今泰國）等鄰國的留學生。有校舍1200餘間，堪稱當時世界上規模最大的高等學府。國子監的範圍，東起小營，南至珠江路，西臨進香河，北依雞鳴山。修成賢街貫通南北，建文昌橋連接東西，有「培育賢才，昌明文化」之意。因成賢街的南口、東側、西側及國子監南門外，各有一座大牌坊，故稱「四牌樓」。這些街名、橋名、地名，沿用至今未加更改。著名的《永樂大典》，就是十五世紀初在南京國子監編成的。這部書共包括兩萬兩千多卷，一萬一千多冊，這是我國最大和最早的一部百科全書。
國子監的「監」字在此讀去聲，自然不是指監獄，而是跟欽天監一樣，表示官署。確實的，國子監與其說是學校，不如說是學官的衙門，官員即老師，老師即官員。其最高長官－－祭酒也是從四品的不大不小的官。
相傳洪武初年，明太祖朱元璋晚宴後喜歡散步，一日信步游至國子監，剛坐定，廚人獻上香茗，朱元璋酒後口渴，一飲而盡，覺得此茶醇和可口，朱元璋一高興就命人賞給廚子一副冠帶。皇上恩賜，非同小可，此事驚動了國子監的學生，大家在一起發牢騷，一人在院中故意高聲吟詩：「十載寒窗下，何如一盞茶！」朱元璋詼諧地回了一句：「他才不如你，你命不如他！」
究竟這件事是真是假，但至少還有些傳奇的色彩，但關於國子監確實有一段血淋淋的事實。明太祖為了要「人才」，對於辦學校非常熱心。他的辦學的政策只有一個字：嚴。
按照規定，國子監這個衙門每天都要升堂，祭酒和司業坐在堂上，其他屬官按次序站在兩旁，接受監生的朝拜並質問學業，與其他衙門的升堂辦公也沒什麼太大的區別。
國子監還有嚴格的監規，監規是朱元璋欽定的，起初只有八條，後來越定越詳細，竟達到了五十六條之多。就像現代監獄的犯人要穿囚服一樣，監生也要穿制服－－襤衫，不許穿常人的衣服。進了這座大監獄，吃住都在裡面了，不能隨意出入，要出去，先要獲得教官的批准，領「出恭入敬」牌；想請假或回家，是要皇帝親自批准的，最好別動這個念頭。飲食由公家包了，吃的是大鍋飯，會餐的時候禁止喧嘩，更不許議論伙食的好壞。凡是監生犯規，初犯記過，再犯則用竹篾打五下，三犯打十下，四犯則另外處置：開除，充軍或罰充吏役。學生受不了，曾經鬧過兩次事。第二次鬧事的是學生趙麟，出了一張壁報（沒頭帖子）。太祖聞之，龍顏大怒，把趙麟殺了，梟首示眾。
後來，明太祖駕崩，傳位給了孫子。最後，小皇帝的叔叔燕王把皇位奪走，改都北京。於是，學生們也隨之遷往北京了。
自明成祖永樂年遷都北京後，隨著國家政治、經濟、文化中心的北移，乃有北、南國子監之分，從此北監漸興，而南監漸衰。
