已经猜到了可能会出现无人出使的情况，在这个时代的中国人眼中外国就是一片蛮荒之地，当年李富贵组织移民的时候有些人宁愿饿死也不愿意出洋，也不知道这算不算是一种民族气节，现在想让这些官老爷放弃京师优越的生活，冒着身败名裂的风险去出使西洋当然有些不太现实。他原先也只是想借着这个机会建立自己与西方的正常外交关系，本来就是打着自己派人清廷出钱的如意算盘。没想到这个郭嵩焘这么一闹，自己的计划反而被打乱了。“这个人真是很有意思啊，别人躲都躲不及，他却迎着头往上撞，着明白了是和舆论对着干嘛，否则就算想出国也应该装出一幅极不情愿的样子，到时候勉为其难的出去或许舆论压力会小一些吧。湖南人，这些湖南佬个个都是又倔又硬，回头见了面再说吧，怎么说我也是外交部长，这些大使就算是我的人了，绝对不能让他受欺负。”一八五九年的六月，被称为中国历史上最为黑暗的一个月，在这个月里中国分别与英、法、美签署了北京条约，一系列丧权辱国的条款让后世的中国人咬牙切齿，坐下来签字的是顾命大臣中的穆荫，本来这次和议从头到尾都没他什么事，没想到条款都定下了之后李富贵不肯签字，奕欣也不肯签，两个人你推过来我推过去，最后李富贵说就让穆荫去签怎么样？穆荫是李富贵的人，奕欣又有什么不同意的，说起来他现在还是军机大臣，倒也有签和约的身份，所以穆荫就只好接下了这个屈辱的任务。俄国人的北京条约一直谈不好，李富贵已经下决心要和俄国佬作对，自然不会给他们什么好处，而那些俄国人大喊着利益均沾却没什么人理睬他们，英法两国自不用说，就是美国也已经被李富贵堵上了嘴。奕欣虽然想答应俄国人的条件，但是谈判的事情一直是李富贵负责，现在他反而有些插不进去手，好在英法联军签了合约之后很快就撤了个干干净净，李富贵现在似乎也应该回他的老家去了。对此奕欣派人去探了探李富贵的口风，李富贵倒是非常干脆“我怎么不想回去啊，我儿子现在半岁多了我一面都没见着，你说我为国为民的容易吗？不过呢，一方面这和议还留了一个小尾巴，另一方面我岳父岳母年纪都大了，我们又是好久没见，前一阵子和谈太忙一直没有什么时间侍奉两位老人，现在终于抽出点空闲还不得常回家看看。”实际上李富贵进京以后经常住在赵府，和赵婉儿的几个哥哥相处的也颇为融洽，他是准备这一次把赵家给接到南面去，估计奕欣不会不给他这个面子。奕欣听到李富贵放出来的话之后立刻就明白了他的意思，他本来就觉得咸丰把赵文翔一家留在北京非常愚蠢，谁都知道要是真的造反父母妻子无一不可抛开，你扣着人家老丈人、丈母娘有个屁用，而且赵夫人出了名的历害，说不定李富贵正巴不得有人帮他除掉这个岳母大人呢，以李富贵的个性奕欣觉得自己的这个设想很有可能。随便找了个借口发了一道上谕，把这些赋闲的老臣封赏了一番，大家当然要上表谢恩，一般还要带上一堆自谦的言辞，什么寝食不安啦，什么无功受禄啦，也有几个上书说自己年纪老迈本来呆在北京就是糟蹋粮食，现在朝廷又格外开恩封赏，实在是愧对这些恩典，希望能够告老还乡不再给朝廷增添负担，这里面就有赵文翔。接到这些折子之后恭亲王很快就给了答复，大家的还乡申请都被批准，这让那些本来只想客气一番的老家伙们大吃一惊，看着其他人还能留在北京实在是有些不忿，可是话已出口也没有什么别的办法。好在朝廷还给了一笔费用买断了工龄，倒不至于空着手回老家。
当得知终于可以回南方之后赵家上下一片欢腾，他们这两年在北京的日子可不算好过，要不是别人害怕李富贵不计后果的胡来可能对他们赵家的迫害还要厉害，总之是诸事不顺。可是要是回到老家，就不说这还乡尚书的金字招牌，仅仅凭着两江总督的头衔他们就可以横着走，更不用说李富贵在南方的势力了，赵家几个儿子都曾经听他们留在杭州的管家说过那些浙江的地方官对任何沾上李富贵的人都表现得非常恭敬，那自己这些大舅子、二舅子一回去还不得被捧到天上去。唯独赵夫人闷闷不乐，看到李富贵上朝回来就把他叫到内堂。富贵啊，听说你准备和我们一起回南方，是不是这样。是啊，本来京城的事情基本上算是忙完了，与俄国的合约虽然还没有签署，不过那毕竟是扫尾的工作，留给恭亲王去做应该也没什么问题。大家一起还乡热热闹闹的，您马上就能看到外孙子了。李富贵也发现赵夫人的情绪不太好，所以帮他宽宽心。赵夫人长叹一声，这个赵家自从出了那个老窝囊废就没有一天扬眉吐气过，我这几个儿子和他们那个爹也差不多，本来我是指望你来帮着光大赵家的门楣，没想到啊，你实在太没有抱负了。这话说得李富贵直翻白眼，自己混到这样居然还算是没有抱负，他实在想问问自己的老丈人究竟是从哪里娶到的这样一位夫人，难怪她整天数落赵文翔窝囊，像她这样的也就是嫁给刘邦大概才能一展所长。这饭总要一口一口吃，我觉得留在北京并不能真正施展我的才能，还是地方更适合我一些，再说两江总督也不见得就比军机大臣差。赵夫人冷哼一声，军机大臣又算什么，就是载垣、肃顺他们不也是说抓就抓起来
精彩书屋