根據史料的記載分析，唐代出現在中國北方少數民族奚部落中的「奚琴」，可能是現在胡琴類樂器的前身。宋朝陳暘《樂書》（公元1101年）中記載：「奚琴本胡樂也，出於弦□而形亦類焉。奚部所好之樂也。蓋其制，兩弦間以竹片軋之，至今民間用焉。」「奚琴」又名「嵇琴」，這個樂器自唐宋以來在文獻中屢有記載。例如：唐代詩人孟浩然的作品《宴榮山人池亭》，就寫有：「竹引嵇琴人，花邀戴客過。」的詩句。「嵇琴」在當時並不是用弓拉奏，而是以竹片摩擦琴弦為演奏方式。
「嵇琴」在宋代被普遍運用於民間器樂演奏活動以及宮廷宴樂中。當時，有這麼段故事，在一次宮廷宴會上，樂工徐衍以「嵇琴」演奏樂曲，賓客一邊品著美酒一邊聆聽樂曲，興致正高昂時，「嵇琴」突然斷了一根弦，可是徐衍也不換琴，他神色自若地繼續演奏著，將原以兩根弦演奏的樂音，僅用一根弦演奏，賓客們對徐衍冷靜鎮定、急中生智的臨場反應讚譽有加，於是將這種獨弦演奏的方式稱為「一弦嵇琴格」。這段故事被記錄在《夢溪筆談．補筆談》卷中：「熙寧中，宮宴，教坊伶人徐衍奏嵇琴，方進酒而一弦絕，衍更不易琴，只用一弦終其曲。自此始為'一弦嵇琴格'。」宋人沈括(1031─1095）的《夢溪筆談》中敘述：「馬尾胡琴隨漢車，曲聲猶如怨單于。彎弓莫射去中雁，歸雁如今不寄出。」於是「嵇琴」始有胡琴之稱。
《元史．禮樂志》描述其形制：「胡琴猶如火不思，卷頸龍首，二弦，用弓捩之，弓之弦以馬尾。」《馬可．波羅行記》中亦講到1278年蒙古軍隊排好隊伍等待打仗時，兵士們唱歌並奏二弦琴；甘肅榆林石窟第十窟中的元代壁畫中，有一伎樂天持奏拉弦樂器，這個樂器卷頸，二弦，以弓奏之，與今天的二胡形制已很相近了。明清以後，胡琴已傳遍大江南北，隨著各種地方戲曲的發展，胡琴亦成為民間戲曲及曲藝音樂的伴奏和江南絲竹等器樂合奏的主要演奏樂器。
二胡是現代的名稱，過去民間多稱它為胡琴或南胡，後來依其地區的差異而發展出許多不同類型的胡琴類樂器，如：板胡、京胡、椰胡、四胡、墜胡、嗡子以及胡胡等。
