Stephen Pan syntyi perheeseen, joka on tunnettu Kiinassa taiteellisista kyvyistään. Hänen isoisänsä Bo Yin Pan opetti hänelle 5 -vuotiaana ensimmäisen opetuksensa piirtämisestä ja maalaamisesta.
Vaikka Panilla oli läheinen suhde muodollisiin kiinalaisiin taideperinteisiin, hän rakastui renessanssin ja ranskalaisen impressionistisen maalauksiin. Jo 13 -vuotiaana hänellä oli yksityinen taidenäyttely ja hän oli voittanut ensimmäisen sijan National Art Excellence -palkinnoissa Kiinassa kauniista öljymaalauksistaan..
Pan aloitti opettamisen Shanghaissa, Kiinassa 20 -vuotiaana. Jatkaakseen taiteilijauransa setänsä tuki maahanmuuttoaan Yhdysvaltoihin. Stephen Panille tarjottiin opettajan tehtävää San Franciscon taideakatemiassa vuonna 1997.
