岭南之地是大隋的，也是当地的大族豪强的，甚至于因为先是大族豪强，才是大隋的。岭南之中的高氏、冼氏、宁氏、陈氏、李氏等汉夷之族作为其中的领头羊，跨州连郡，据有人口，对岭南的话语权和影响力远大于大隋官方。
岭南是没有世家的，只能算豪强。
不过这些豪强，比世家大族都可怕。
在岭南，至少是冼夫人活着的时候，甚至可以说是岭南乱不乱，冼氏说了算。
不提南北朝的那些旧事，单说当初南陈灭亡之后，岭南并未归附大隋。各地共推冼夫人为主，号圣母，保境拒守。开皇九年，杨坚遣江州总管韦洸、东来郡公王景一起持节安抚岭南，但为南陈豫章太守徐璒据南康拒之。韦洸根本进不去岭南，还是杨广派人跟冼夫人谈判，让出大量的利益，冼夫人派孙子冯魂亲自迎接韦洸至广州，这才使得岭南归附。
由此可见冼氏之强大。
而之后王仲宣、陈佛智等人掀起岭南大叛乱，广州城危在旦夕，连广州总管韦洸都战死，冼夫人的孙子冯暄亦参与其中。又是大隋跟冼夫人谈妥了条件，冼夫人亲自领兵平叛，又联系各部首领前来参谒大隋使节，这才安定了岭南。
可以说整个岭南，就是这些豪强大族的乐园。
也就是冼夫人死后，岭南各家没了领头羊，矛盾重重，难以调和。杨广又不断地派人分化各家，才勉强维持住对岭南的统治。
大隋安定之时，这些岭南大族还算安分，但大隋乱后，岭南也开始跟着烽烟四起，乱了起来。
大业九年，冼氏家主冼夫人的侄孙高凉郡太守冼宝彻举兵作乱，岭南溪垌多应之，算是彻底拉开岭南纷乱、分裂离析的序幕。
其后各家首领，多有反者。
到卫公元年初，宁越郡太守宁长真控制着郁林郡大部和宁越郡；合浦郡太守宁宣、宁氏族人宁道明、岭南俚帅庞孝恭等人和冯盎分别控制着合浦郡；粤东俚帅杨世略控制着义安、龙川二郡；梁化邓氏的邓文进控制始兴郡和南海郡北部；岭南大酋永平郡守李光度控制着始安郡大部、永平郡北部和郁林郡北部；以冯盎、冯喧、冯士翙为代表的冯氏家族控制着高凉郡、合浦郡东部、海南三郡等地；冼宝彻、高法澄控制着南海郡大部、信安郡和高凉郡东部；除此之外，还有谈殿、陈龙树为代表的俚僚领袖，控制着永平、永熙、苍梧三郡周边的大片地区。除此之外，还有沉逊、欧阳世普、秦元览、韦阙等人，各依附于几家大族。至于俚僚等夷族，就不知道有多少了。
可以说整个岭南，已经完全落入当地豪强大族之手。
而大隋在岭南的势力，也就是以黄明聪控制的交趾四郡为主。其余还有始安郡太守李袭志、熙平郡太守丘和龙川郡太守高士廉各据郡城，勉强苟延残喘。
不过岭南豪强大族和外来官吏天然就处于对立面，毕竟双方都是自己控制岭南的敌人。于是岭南各族不断地对外来官吏控制的地盘进行蚕食，打压其生存空间。
岭南豪强大族可以依托家族势力打击外来官吏，而内部不安，外无援兵的外来官吏们，只得在对方的打击下，一败再败，走向覆灭了。
外来官吏中最坚挺的便是始安郡的李袭志。
始安郡北面是萧梁势力，南面是李光度和俚僚各部，在两面的打击下，失城丧地，最后只剩下一个始安城（今广西桂林市）。
面对内忧外患，李袭志倾尽全部家财召募三千士兵守卫郡城。萧铣、曹武彻、李光度等势力轮番进攻始安，李袭志每次都是奋力固守，使敌不能攻克。
后来杨广去世，李袭志因为家族原因便投靠了李渊，被封为桂州总管。