主要是周文王的孙子季孙的后代，因被封在潘（今陕西北部）而得姓。还有人是楚成王太师潘崇的后代。历史上的潘姓在荥阳（今河南郑州）等地形成望族，代表人物有晋代美男子潘岳、宋代开国大将潘美等。