首先讓我們來看《資治通鑒》對於玄甲軍的記載：「秦王世民選精銳千餘騎，皆皂衣玄甲，分為左右隊，使秦叔寶、程知節、尉遲敬德、翟長孫分將之。每戰，世民親被玄甲帥之為前鋒，乘機進擊，所向無不摧破，敵人畏之。行臺僕射屈突通、讚皇公竇軌將兵按行營屯，猝與王世充遇，戰不利。秦王世民帥玄甲救之，世充大敗，獲其騎將葛彥璋，俘斬六千餘人，世充遁歸。」這段文字雖然很短，但玄甲軍的戰鬥力和作用可見一斑。李世民幾乎每戰都身先士卒，他自己一身玄甲，率領著騎兵如同黑雲一般壓向敵陣，聲勢迫人，加上玄甲軍本身的精銳，幾乎是無堅不摧的。
古代作戰，常選精銳的戰士作為先鋒突擊，稱為選鋒。玄甲軍也可以認為是選鋒的一種。玄甲軍不同於東漢的幽州突騎，他並不由單一地區或者單一部族的兵員組成，玄甲軍是從李世民所統帥騎兵中選拔出來的精銳，組成應該非常複雜，而且玄甲軍擔負的作戰任務很重，每戰必當先鋒，傷亡也不在少數，估計應該是不斷選拔補充，保持一定的兵員定額。對於玄甲軍的組成、訓練和裝備情況，基本可以通過對唐初騎兵分析得出。
從東漢末年開始，北方強悍的遊牧民族逐漸進入中原，經過五胡十六國和南北朝的混戰，到了隋唐時期，騎兵的發展達到了中國歷史上的有一個高峰。在這個時代，重甲騎兵一度成為主流。所謂重甲騎兵，又稱甲騎具裝，騎兵和戰馬均披很厚的盔甲。隋朝繼承了南北朝的傳統，在軍隊中，重甲騎兵依然佔了很大比重，作為舊朝的一員，李淵的唐軍大概也受了一些影響。
但是這裡還有一個變數，即隋朝和北邊的突厥進行了大規模的騎兵交戰。突厥的騎兵是以機動性著稱的輕騎兵，隋朝的騎兵與突厥屢次交鋒，出於適應敵人特點的需要，隋朝的騎兵受到了對方的影響，發生了一定程度的變化，又向輕騎兵的方向轉變。李淵作為并州的軍政長官，正擔負著防禦突厥的責任。他在與突厥的交戰過程中，首先仿效突厥建立了一支精銳的輕騎兵。《資治通鑒》中如此記載：「淵選善騎射者二千人，使之飲食舍止一如突厥，或與突厥遇，則伺便擊之，前後屢捷，突厥頗憚之。」這支騎兵能夠在機動性上與突厥匹敵，應當是輕騎兵無疑。這部分騎兵，可以看做玄甲軍最初的基礎。李淵太原起兵之後，從突厥購買了良馬2000匹，還借來了小部分突厥騎兵，西突厥部落氖反箬鴕猜柿觳肯碌鈉銼
