1915年,潘素出生于江苏苏州,他是清朝状元潘世恩的后人,但他父亲却是个不成器的人,整日吃喝嫖赌,把家产挥霍一空,幸亏她的母亲沈桂香是大家闺秀,从小教她音乐、绘画、弹琵琶。潘素13岁时,母亲病故,随后父亲为筹集赌资,便把她买入青楼,沦落风尘的潘素渐渐长大,娇美的容颜、多才多艺让她名声鹤起,直到20岁时,她遇到了一生的挚爱。溥仪的族兄溥侗、袁世凯的次子袁克文、少帅张学良、张伯驹这四人被当时人称为“民国四公子”,而张伯驹是四人中最有才华的,他7岁入私塾,9岁能写诗,20岁读完《二十四史》,能把《资治通鉴》如数家珍,唐诗宋词更是脱口而出。张伯驹有一次去青楼玩耍,遇到了潘素,“潘步掌中轻,十步香尘生罗袜;妃弹塞上曲,千秋胡语入琵琶。”见到潘素第一眼,张伯驹就写下这幅对联,从此两人相爱。
1937年,21岁的潘素与张伯驹结婚,婚后两人生活幸福,颇具艺术能力的张伯驹发现,妻子在绘画方面具有很高的造诣,于是便请来朱德甫、陶心如、汪孟舒等名师教她。在丈夫的鼎立帮助下,潘素的画技进步飞快,很快就能画出不错的作品,到40年代之处,潘素的画已经驰名中外,后来新中国成立,潘素的话更是价值不菲,并在国内多次展出。后来中国逐渐与其他国家建交,当外国元首来访时,主席常常将潘素的画当做礼物送给他们,比如《临吴历雪山图》送给了撒切尔夫人、《临游春图》送给日本天皇、《丰泽花光图》给送老布什等。