民間流傳不少歷史人物的傳奇故事，許多是後世虛構的。但就岳飛而論，在《說岳全傳》和一些戲文中，雖然虛構事跡頗多，但對他的高風亮節其實反映得並不充分。
岳飛有一句流傳近千年的名言："文臣不愛錢，武臣不惜死，天下太平矣。"在宋代社會，官場中充溢著崇文抑武的習氣，武將被指為粗人。武將能講出如此一針見血、言簡意賅的名言，已屬極為不易，更何況是身體力行。他擔任高官之後，收入自然頗高，卻一直維持著相當簡樸的生活。後妻李娃有一次穿絲織品，岳飛就一定要她更換為低檔的麻衣。他的私財收入是十分豐厚的，卻經常化私為公，以私財補貼軍用。有一次，以宅庫中的物品變賣，造成弓二千張。他遇害後抄家，家中根本沒有金玉珠寶，貴重物只有三千餘匹麻布和絲絹，五千餘斛米麥，顯然還是準備貼補軍用的。
宋代的上層社會納妾是很平常的事。如抗金名將吳玠服用金石，酒色過度，咯血而死。韓世忠不僅納妾多人，還喜歡侮辱部將妻女，竟迫使猛將呼延通自殺。岳飛的前妻劉氏是在戰亂情況下，自動離家改嫁的。他與後妻李娃廝守一生。有一次，吳玠屬官出差到岳飛軍營，對於岳家軍中別無姬妾、歌童、舞女等勸酒作陪，頗感驚訝。回去報告吳玠後，吳玠特別為岳飛送來一個四川名姝，並置辦許多金玉珠寶做妝奩，然卻被岳飛打發回去。
岳飛對官位根本不戀棧，他幾次上奏，都表白了準備功成身退的心跡。"三十功名塵與土"的名句，正是表達他賤視官爵的心態。南宋的百姓對此有廣泛崇高的評價，說他"手握天戈能決勝，心輕人爵只尋幽"。
岳飛有五個兒子，他死時僅三十九歲，卻已是抱兒弄孫的祖父了，長孫岳甫比幼子岳靄大一歲。因年齡關係，真正能隨他出入戰陣的就只有長子岳雲，他對岳雲的要求可說是超乎尋常嚴格，這應是與力圖矯正宋軍中的各種裙帶風式的腐敗有關。當岳雲還是一名小軍士時，在訓練時不慎跌下馬來，就被岳飛嚴責一百軍棍。岳雲年齡稍大，就成為一名十分驍勇的戰將。他的兵器不是像演義或戲曲中所說的，是一對鐵錘而是一對鐵錐槍，軍中稱他為"贏官人"，意為這個"官人"(官員的尊稱)總能打贏。他參加過多次重要的戰役，特別在著名的潁昌大戰中，打得人為血人，馬為血馬，全身創傷一百多處，對扭轉戰局起了重大作用。但岳飛在一般情況下，只報將士們的戰功，卻對岳雲的戰功扣押不報，並且多次拒絕上級或皇帝為岳雲加官。岳飛平時不準兒子們近酒，在學習的間隙，還讓他們參加農事，理由是"稼穡艱難，不可不知也"。
岳飛強調"正己然後可以正物，自治然後可以治人。"他能很自然地說到做到，是令人佩服的。
