根据史料的记载分析，唐代出现在中国北方少数民族奚部落中的「奚琴」，可能是现在胡琴类乐器的前身。宋朝陈旸《乐书》（公元1101年）中记载：「奚琴本胡乐也，出于弦□而形亦类焉。奚部所好之乐也。盖其制，两弦间以竹片轧之，至今民间用焉。」「奚琴」又名「嵇琴」，这个乐器自唐宋以来在文献中屡有记载。例如：唐代诗人孟浩然的作品《宴荣山人池亭》，就写有：「竹引嵇琴人，花邀戴客过。」的诗句。「嵇琴」在当时并不是用弓拉奏，而是以竹片摩擦琴弦为演奏方式。
「嵇琴」在宋代被普遍运用于民间器乐演奏活动以及宫廷宴乐中。当时，有这么段故事，在一次宫廷宴会上，乐工徐衍以「嵇琴」演奏乐曲，宾客一边品着美酒一边聆听乐曲，兴致正高昂时，「嵇琴」突然断了一根弦，可是徐衍也不换琴，他神色自若地继续演奏着，将原以两根弦演奏的乐音，仅用一根弦演奏，宾客们对徐衍冷静镇定、急中生智的临场反应赞誉有加，于是将这种独弦演奏的方式称为「一弦嵇琴格」。这段故事被纪录在《梦溪笔谈．补笔谈》卷中：「熙宁中，宫宴，教坊伶人徐衍奏嵇琴，方进酒而一弦绝，衍更不易琴，只用一弦终其曲。自此始为'一弦嵇琴格'。」宋人沈括(1031─1095）的《梦溪笔谈》中叙述：「马尾胡琴随汉车，曲声犹如怨单于。弯弓莫射去中雁，归雁如今不寄出。」于是「嵇琴」始有胡琴之称。
《元史˙礼乐志》描述其形制：「胡琴犹如火不思，卷颈龙首，二弦，用弓捩之，弓之弦以马尾。」《马可．波罗行记》中亦讲到1278年蒙古军队排好队伍等待打仗时，兵士们唱歌并奏二弦琴；甘肃榆林石窟第十窟中的元代壁画中，有一伎乐天持奏拉弦乐器，这个乐器卷颈，二弦，以弓奏之，与今天的二胡形制已很相近了。明清以后，胡琴已传遍大江南北，随着各种地方戏曲的发展，胡琴亦成为民间戏曲及曲艺音乐的伴奏和江南丝竹等器乐合奏的主要演奏乐器。
二胡是现代的名称，过去民间多称它为胡琴或南胡，后来依其地区的差异而发展出许多不同类型的胡琴类乐器，如：板胡、京胡、椰胡、四胡、坠胡、嗡子以及胡胡等。
