面对长孙无忌的请辞，杜伏威万般不舍，他多番挽留，却依然没有动摇长孙无忌离去的决心，无奈之下只能答应，并且命他的两名义子将他送出历阳。辅公袥得知消息时，急忙率人追赶，最终只在城门口遇见送行回来的队伍。
辅公袥与杜伏威自幼便结成刎颈之交，彼此毫无间隙，他见杜伏威放走长孙无忌，便带着一丝怒意，与杜伏威的两名义子一道去了总管府。
“公袥兄为何这般气势汹汹？莫非哪位侍妾伺候不周？”杜伏威见辅公袥一脸阴沉，将他请进大堂，半开玩笑的说道，不过他的笑容有些牵强，显然也有着心事。
“贤弟，我等都是粗鄙之人，靠着一身蛮力方有今日成就，可是这并非久远之计，如今难得遇到李珠这样的谋士，你怎么舍得让他离开？”辅公袥怒气未消，根本没有理会杜伏威的调笑，稍有不满的说道。
杜伏威很了解辅公袥的脾气，知道他不是恶意，无奈的说道：“他去意已决，伏威挽留不住，又有什么办法呢？”
“非友即敌，他这样的良才，若是不能为我们所用，也不该让他人得到。”辅公袥恶狠狠的说道：“他的智谋想必你比我清楚，现如今你放他离去，万一他投奔李子通或者朝廷，根本不是我们可以应付的。”
“我相信李先生的为人，他临行之前曾说过，不会留在江淮一带，自然是为了让我们放心。”杜伏威解释道：“李先生为我们做了这么多事，若是加害于他，不仅伏威心中难以安定，更会惹得天下人不耻。”
长孙无忌此时不知已经走到何处，再争辩也没有任何意义，辅公袥在堂中来回走了几圈，叹了口气，拱手告辞离去，杜伏威知他心情不佳，也未挽留，将他送到门外。
“义父，孩儿与李先生分别之时，李先生托孩儿带一句话。”辅公袥离开后，杜伏威的义子王雄诞犹豫片刻，又想到辅公袥方才的态度，恭敬的说道：“此事涉及到长吏大人，孩儿不知当讲不当讲。”
“既然是李先生的话，当然应该讲。”杜伏威进王雄诞吞吞吐吐，心知并非令人开心的话，但又怕错过什么，想了想，便让王雄诞说出来。
“李先生说，义父只想保一方百姓平安，这是很正确的选择。”王雄诞左右看了看，继续说道：“但长吏大人似乎并不满足几郡之地，有逐鹿天下的雄心，所以先生让义父保留一丝戒备之心。”
如果不是辅公袥，杜伏威很小的时候就饿死了，所以他一向很敬重辅公袥。
可是，人心会变的。杜伏威起兵之初，只想能够衣食无忧，但他也感觉到，自己越来越贪恋权势，甚至起过称帝的想法。以己度人，杜伏威不自觉的皱起眉头。
“听说辅长吏昨日将李先生请到了长吏府？”杜伏威本来没有在意，如今得知长孙无忌的告诫，又想到长孙无忌清晨便到总管府告别，自然而然的将几件事联系到了一起。
“确有此事，不过李先生在长吏府呆的时间不久，他们聊了些什么，孩儿也无从得知。”王雄诞点头答道。