陶傑的父母是1949年從大陸隨百萬逃港大潮來香港的,父親曹驥雲當年投奔的是從上海來港的姨媽,而他的姨丈就是上海第一代從美國引進機器做紗廠(20世紀20年代)的紡織實業首富王啟宇。王家當年無論在上海還是香港,都是首屈一指的名門望族。
從小深受資深媒體人父親的影響,陶傑喜歡看電影和戲劇,而他的父親亦曾深受過他爺爺的影響,因此,使得陶傑有機會接觸到舊上海流行的歌曲和一些經典的電影作品。或者對藝術和美的欣賞,就是從那時不經不覺開始的。
陶傑童年居於灣仔近摩利臣山道,自幼接觸古典文學,中學時開始投稿,並發表在《新晚報》。