不過，巡撫雖然是壹省的最高行政長官，但按照清朝的政治制度，除了巡撫之外還有督撫。總督掌管軍隊，總督掌管民政。但是，如果壹個省有兩個官員，省長和巡撫，而他們恰好在同壹個城市執政，那麽他們之間往往是相互牽制的。湖北巡撫駐武昌，兼管湘鄂兩省的湖廣總督也駐武昌。
鹹豐帝對漢人很警惕。胡林翼出任湖北巡撫後，任命滿文官文為湖廣總督，督辦此事。官員和胡在家世、經歷、才幹、性格上有很大的不同；在非常時期，他們分封諸侯，同城而為，所作所為都超出了平時的套路，或者無章可循，或者有章可循。就這樣，雙方產生了多次沖突，甚至有破裂的趨勢。當時的意思是湘軍集團是否接受監督，清政府能否執行控制湘軍使用的政策。如果他們不同意，湖北將全部落入公文之手，湖南也將被公文控制。這樣，不僅湘鄂情難以成為湘軍集團的地盤和戰略大後方，湘軍的進壹步發展壯大也將成為壹句空話，湘軍現有的實力也將受到損害，從而危及湘鄂情的安全。
在這種情況下，曾國藩致信胡林翼，要求他與公文搞好關系。如果不重要，他必須服從，只有以自己的威望為名，才能實現自己的野心。胡林翼終於明白，公文的地位是不可動搖的，唯壹的辦法就是和它搞好關系，於是他針對公文的特點，改變工作作風，大施權力，力求尊重公文欽差大臣和督撫的雙重權力，不束縛自己的手腳。
先攻擊敵人。首先，胡林翼極力與公文建立個人親密關系。為了項，胡林翼刻意結交了巡撫的公文。公文裏有壹個寵妃過生日，卻是以第壹夫人的名義發帖，準備在前來祝賀的人聚集起來後表白。這是官招妾要體面的壹招。不料壹個諸侯得知內情，大怒，說:“夫人生日，咱們慶祝壹下，也是見面禮。如果是這樣，我朝廷的大仆怎麽能在妃子面前下跪！”當時封建地位很重。妻子可以得到朝廷的尊重，有品位，作為人存在。妾的地位向來不高雅。諸侯生氣是有道理的，他收回了賀電。
胡林翼聽後，對這種體面的公文做法大加贊賞。可剛說完，他卻隨口傳了壹句“胡林翼家晚生”，並許願拜官妾。這時，剛隨三藩司回邀的人，帶著胡林翼朝拜。壹個尷尬的局面解決了，官妾自然對胡林翼充滿了感激。
之後，官嬪妃們來探望胡林翼的母親，胡林翼命人將她收為夫人，讓母親認她為幹女兒。兩家往來密切，也時不時去官母家看看；平時私信公文，省略公務禮儀，稱之為“紈絝子弟”“正廳紈絝子弟”。有的記載還說胡林翼和公文結拜為兄弟。
在處理公務上，胡林翼掌握實權，堅持按照自己的意誌處理軍政事務。而且每次得到壹個好名聲和壹個被獎勵的邀約，比如“奪城破敵”，都要先給公文做貢獻，所有的貢獻也都是公文做的，所以公文累到升大學。
在追悼信中，他稱贊公文“胸襟寬廣，慷慨忠厚”，“唯納弗能至誠公正”。
為了安撫公文，胡林翼不僅對公文的貪汙視而不見，而且每月還公費撥三千兩鹽給公文，實際上是被公文中飽私囊。
在與公文打交道的日子裏，雖然胡林翼與公文有矛盾，但胡林翼始終堅持公文內用外圓的方針，直到後來病逝。官方文字自然也意識到了這壹點，但還是做出了積極的回應。據史料記載，胡林翼的母親來到武昌，公文親自帶領文武百官迎接。
為官多年心裏很清楚，功勞是胡林翼領導的項贏來的。如果胡林翼的地位動搖了，就沒有人指揮項克敵制勝了，他的各種職位和榮譽也就失去了，甚至連性命也成問題。所以胡林翼也被放任不管。但是，公文不是胡林翼的傀儡。正如曾國藩所說，這份公文“城府很深。胡文忠在的時候，他極其尷尬，但他會努力占據自己的位置，對方只是敷衍，沒有誠意。”
公文的欲望不斷被胡林翼的金錢和名氣滿足，公文自然欣賞胡林翼，什麽都信。這樣壹來，胡林翼就真的成了總督和巡撫，集軍政大權於壹身，壹切都可以按照自己的計劃和想法進行，誰也不能阻礙。
省長團結，胡林翼踏實，自然壹切都好落實。最顯著的成果有:第壹，在人事行政方面，根據胡林翼的主張，全民皆可用善用惡，使湖北吏治日臻完善；第二，在軍事行動上，也可以按照胡林翼的留洋方法，從湖北派兵幫助湖南、安徽等省。
胡林翼的官職雖然是湖北某省省長，但實際上他是在憑借湖北某省的力量收復長江下遊，影響壹個戰局。
胡林翼是湘軍中犧牲最多的將領之壹。為了大局，胡林翼不爭權奪利，不沖鋒陷陣，心甘情願地做好自己的後勤工作，確保老巢的安全。為了大局，他甚至低頭做人，硬生生把清政府派來監視自己的人發展成湘軍的盟友，為湘軍贏得了廣闊的空間。可以說曾國藩是項的主心骨，但胡林翼是最大的功臣。