1973年4月4日，布莱恩出生在纽约布鲁克林区。他的母亲帕蒂·怀特是一名俄罗斯犹太人，在多个公开场合，布莱恩曾把她描述成吉卜赛女郎；他的父亲是意大利和波多黎各混血儿，曾在越南战场作战。当布莱恩只有4岁时，父亲就离开了家。布莱恩说：“我父亲将我和妈妈留在了犹太人聚居区，我们只能靠乞讨为生。”为了有足够的钱抚养小布莱恩，妈妈不得不一人打三份工。　

　　4岁时，布莱恩在地铁里观看了一场魔术表演，从此便为魔术着迷。在布莱恩一次叙述中，母亲是将他带入魔术世界的“引路人”。他开始迷上魔术后，母亲买给他一套魔术玩具，可以让铅笔穿过一张卡片，却不留下洞孔。很快，他告诉母亲，他想成为一个魔术师，母亲在各个方面给予了他极大的支持。

　　10岁时，布莱恩的母亲再婚，全家搬到了新泽西，之后布莱恩同母异父的弟弟迈克尔出生了。布莱恩后来使用过多个不同的姓氏，布莱恩实际上是他的中间名。这位年轻的魔术师喜欢对他的身世背景保持神秘，他曾在接受访问时说自己是吉普赛人的孩子，在西藏长大。

　　布莱恩20岁那年，母亲因为癌症去世了，与母亲关系十分亲密的他从此失去了感情支柱，遂将全部精力投入到魔术表演上。布莱恩迁居纽约，在那里，他焦急地等待着出人头地的机会。