一行人一路无话，沿着永济渠行船四五日，便转入了黄河，逆流而上一天行程后，就可以转入通济渠。河北乱贼今年正是被朝廷大军集中打击的年头，压缩得很厉害，所以沿途都没有人闹腾。而且萧铣随身也是有万余兵马走运河随行的，便是高士达张金称也没胆子乱来。
走到荥阳郡的时候，眼看要转入通济渠，高士廉找上了萧铣，想求他暂缓行程，或是就此分道而行。萧铣诧异，忙问其故。
“高某自问和斛斯政的交情，被贬到岭南也是罪有应得，能得萧驸马帮衬，不降品级，已经是意外之喜了，萧驸马相邀一路同行，本不该推拒。只是高某在东都家中还有母亲、丧偶小妹与一对外甥、外甥女，病老妇孺都占全了，实在不能与高某同行，受这岭南瘴疠劳顿之苦。故而，不得不先回一趟东都，另外寻了宅邸，并留下拙荆奉养母、妹。”
“高世叔当真是前辈楷模，如此至孝。岭南着实艰苦，不愿意家中老小一并受苦，也是正理。不过如今道路不靖，高世叔若是与萧某兵马同行，尚且可保道路无虞。若是独行，如今两淮杜伏威的地界，只怕便过不去了。而且天下如此骚乱，高世叔把家眷留在东都，自己却往岭南，云山相隔，往来相见的机会只怕都没有了。若是高世叔坚持，萧某也可以暂缓在荥阳郡驻留三四日，给世叔安排家务的时间，然后咱再同行。”
高士廉心中是愿意跟着萧铣一起护送南下的，不过没好意思说出来，踌躇忸怩着说：“这个……如何使得，萧驸马身兼陛下委派的平定江南重任。多耽误三四日，也是罪过的。”
“贼情倒不在这几日，萧某带领的兵马，也不尽都是靠如今随行这些，还有来护儿来大将军拨给的一些精兵，要走海路南下吴郡，总归比咱晚到就是了。不过萧某倒有一个提议：世叔不如把家人都接上，一并南下，只不过不必去到岭南瘴疠之地，便是打算在吴郡、会稽、丹阳，不拘哪一出，安顿下了，再自身去岭南上任，岂不是好？
一来江南到岭南，比东都到岭南近得多，而且江南贼情平定甚易，将来也不存在道路不靖阻隔等违碍，世叔还有可能探望家小。二来此去江南，有运河水路可走，大船平稳，并无车马颠簸之苦，便是上了年纪的或是妇人，也经受得住。走运河可以往南一路到会稽郡，若是再想往南，才不得不走海路或是山路，到时候再行裁处，岂不是好？”
高士廉听了心中意动。他姓高，其实是当年北齐亡国之君旁支后裔，他的祖父高岳，就是当初北齐开国君主高欢的堂弟。所以高士廉此前如同其他亡国宗室后裔一样，在朝中一直是最清贵闲臣，多掌礼法方面的事务。此次被流放到岭南，好歹是做了实权地方官，他心中也在忌惮万一自己被人猜忌了，留在京中的家人会不会有问题。所以历史上他带不了家小，便只好让自己的外甥结好李世民，搭上李渊这条线，好留条逃命的后路。