自然也使得作为地头蛇的聂家，平时依仗身边的势力和财力，也根本不把两个人看在眼里。
聂家发家成为一个势力庞大的家族，真正说来就是从聂胡子的父亲开始的，那时候碰到了唐末天下大乱，聂父大着胆子在一府之隔的岭西桂州地区做那暴利生意，照实倒弄了几次私盐买卖，没有想到便赚了几分暴富的家当，自此从聂父手里聂家强大起来。
当时唐末因为割据军阀马殷的异军突起，实际控制了整个湖南楚地地区二十四州，包括潭、衡、永、道、郴、邵、岳、朗、澧、辰、溆、连、昭、宜、全、桂、梧、贺、蒙、富、严、柳、象、容州，更设有武安、武平、静江等五个节度藩镇。地盘包括今天湖南全境广西大部、贵州的东部，和后来被南汉占领的如今广东东北许多州府，那个时候倒是显得道州城也不是格外边蛮。
聂父很是聪明的，和当时马殷委派道州城的刺史拉上了关系，把半幅身家交了出去，拿给当时的刺史作为献礼，而回报就是不但打击了当时聂家潜在的对手，而自此和官府拉上了关系，聂家就在道州城真正的站住了脚。
聂小七的爷爷那时候是跟聂胡子的父亲跑腿的下人，他知道聂胡子在十来岁的时候，因为聂父认识江湖上许多侠客，他就被岭南深山一个江湖上的高人带了去。二十岁之前回到道州城的时候，已经是一个飞檐走壁的高手。
聂小七自然不知道聂胡子去干什么了，他爷爷作为一个下人也不可能知道。但是聂小七的父亲跟着服侍聂胡子，一次为了替聂胡子挡剑身亡，聂胡子念旧特意照顾聂小七。
所以虽然是个下人，但是聂小七在聂家还是健康长大了。聂小七不知道别的事情，但是自此聂家在聂胡子回到道州城后，短短几年被在聂胡子带领下，垄断了楚地对岭西的私盐生意。自此生意纵穿岭南、岭西各地，逐渐就成了附近三百里范围内最大的家族，就是在江湖上那也是赫赫有名。
此后聂家甚至修建了自己的城堡，方圆十余里依山傍水，取名聂家堡。近亲、旁支只要愿意的都接来堡里居住，天资聪明的子弟分别授以武艺和学业，就是聂小七这种下人子弟，都是从小加以培训。
如果是仅仅只操练武艺，聂家堡还不可能成为附近最有名望的家族之首。在聂胡子高瞻远瞩下，不少子弟习文从政，才是聂家被周围家族认可的主要原因。
如今，聂家不少子弟渗入道州城各个层面，更以聂胡子近支为主的子弟，开始在道州城崭露头角。聂胡子更是大肆通过熟人、朋友招揽了不少江湖豪客和落魄文人，把个聂家堡经营的有声有色，自此连包括当时马楚家当权时，委派在道州城的官员都不太放在眼里。
如今平时堡里惯常养了五六百人的宾客，大多数都是那种高里来低里去的游侠，和一些擅长计谋的人物。道州城的一些主要官员们得了聂家好处，看聂家也没有别的心思便睁只眼闭只眼，顺意聂家集结在这当地顺风顺水。