Stephen Pan blev født i en familie, der har været kendt i Kina for kunstnerisk talent. I en alder af fem gav hans bedstefar, Bo Yin Pan, ham sin første lektion i tegning og maleri.
Selvom Pan havde et intimt forhold til formelle kinesiske kunsttraditioner, blev han forelsket i renæssancen og franske impressionistiske malerier. Allerede som trettenårig havde han et solokunstshow og havde vundet førstepladsen ved National Art Excellence Awards i Kina for sine smukke oliemalerier.
Pan begyndte at undervise i Shanghai, Kina i en alder af 20. For at fortsætte sin kunstnerkarriere støttede hans onkel hans immigration til USA. Stephen Pan blev tilbudt en lærerstilling på Academy of Art College i San Francisco i 1997.
