，李晓凡爷爷李名贤属于“小港李家”的第五代旁支。到李晓凡已经属于没落的第七代了。
李晓凡家族所在的“小港李家”第一代的代表人物是李也亭，清朝末年航运业巨商，曾一度垄断江浙沪的沙船业。旧上海和宁波商帮著名家族商业集团“小港李氏”的创始人。
李家第二代代表人物为李也亭儿子李梅塘和侄子李听涛，他们共同管理李家事业，并有所发展。十八世纪末，不少李氏家人迁居上海滩，大展鸿图。
到19世纪末，李家在上海己拥有“余”字号钱庄近10家，“天、地、元、黄”四家房地产公司，以及其他为数众多的工商企业，经营范围涉及航运、金融、地产、仓储、码头及百货等行业。当时李家在上海还大量收购地产，还自辟马路，取名“地丰路”今天的乌鲁木齐北路、“李诵清堂路”今天的陕西北路到长寿路一带，成为当时的上海滩房地产巨头。
到李家的第三代，二十世纪初，小港李家在上海的事业如日中天。李家第三代更是人才辈出，强手如林，如曾任上海总商会会长的李云书、旅沪宁波同乡会会长的李征五及李薇庄三兄弟等代表性人物。他们除经营祖传家业外，还广泛投资新兴事业，如垦殖、轮船、银行、保险、丝织等，使李家成为名