主要是春秋时晋国君主晋献公玄孙奚的后代，因他被封在祁（今山西祁县）而得姓。还有人相传是黄帝之子祁豹或伊祁氏唐尧的后代。历史上，祁姓主要以太原（今属山西）为郡望，有宋代画家祁序等名人。