此时，前面提到过的由科举而结成的那两种关係开始发挥作用。当时的大学士潘世恩、陕西巡抚林则徐、安徽巡抚王植、云贵总督陆建瀛、两淮盐运使但明伦等封疆大吏，或其座主，或其父执，纷纷去信督促其出山。道光二十六年初，胡北上京师，销假后面临两种选择：一是按例降补为京官(内阁中书，从七品)，可身负处分，升迁不易;而且俸禄微薄，难于奉养老母。再一个选择就是走捐输的路子，争取外放为地方官，更易有作为，在俸禄之外也有更多养廉银的收入。树挪死，人挪活，胡林翼当然会做第二种选择。而外放为知府的捐例甚贵，要一万两银子。127好在其老师、同年、门生纷纷集资助捐，曾国藩曾述其事之盛：“胡咏芝来京，住小珊处。将在陕西捐输，指捐贵州知府万余金之多。不费囊中一钱，而一呼云集，其才调良不可及，而光芒仍自透露，恐犹虞缺折也。”128六月，林则徐为其报捐知府，胡林翼却选择了贫瘠偏远的贵州省，决意从头做起，干一番事业。
时龙山友人李如昆留都门，问曰：“今有司之法，输金为吏者，得自择善地，君何独取于黔?”公(即胡林翼)曰：“天下官方，129独贵州县吏奉上以礼不以货。某(我)之出，资用皆他人助成之。窃念两世受国恩遇，黔又先人驻节地(胡父曾任贵州学政)，习闻其风俗。某初为政，此地贫瘠，或可以保清白之风，而不致负良友厚爱。”李公为之起敬。130
曾国藩道光二十年四月散馆，授职为翰林院检讨，他与胡林翼相识，当在这之后。但胡夏秋之际典试江南，回来后受到处分，紧接着胡父去世，次年八月林翼扶柩还乡。二人在京师相处的时间不足一年。时间虽短，但亦非泛泛之交。湘乡、益阳两县均隶长沙府，二人为同乡;胡林翼年纪虽小一岁，可科名早于曾国藩，曾国藩还要称他为前辈。胡林翼出京前，曾国藩前去拜访，胡赠给他两部岳父的文集，并将一些家用什物送给了他。八月初三胡扶柩出京时，曾国藩一直送到东珠市口。131道光二十六年五月胡回京销假，年底即分发贵州，在京仅半年，从两人的日记、书信中也看不出二人有何交往。但以同乡而兼前辈，曾对胡是敬重的，尤其是胡之才干，更为他所推重。所以曾国藩后来才会有“胡林翼之才胜臣十倍”的荐语。132但在此时，曾胡二人谁也不可能想到过，日后两人会携手作战，成为中兴名臣。
胡林翼在贵州为官五年，历长安顺、镇远、思南、黎平四府，每到一地，以缉拿匪类，除暴安良为先，使多年盗匪不靖而官府无可奈何之地，一一重获安宁。胡为官干练清廉，于民生、教育等，亦多有建树。“在黔数年，政声大着，上达宸听。”以致对于来京陛见的云贵封疆大吏，皇帝都会问及“胡林翼官声何以如此之好”。133道光薨逝后，咸丰即位，因太平军势力蔓延，命各省督抚保奏所属司道府厅州县可胜大任的官员。在总督保举的十人与巡抚保举的八人中，都有胡林翼的名字。要他奉旨迅速来京，送部引见，但因黔西南剿匪未蒇，直拖到咸丰三年年底，胡才自带数百黔勇赴援湖北，与曾国藩再会于湖南。
作为负才不羁的世家子弟，胡林翼与另一中兴名臣左宗棠，相交更早，性格也更为投契。胡、左订交于道光十三年，其时曾国藩还在乡下苦读，而林翼已博览群书，胸怀干济用世的大志了。
公(即胡林翼)既长，聪强豪迈，于书无所不读，然不为章句之学。笃嗜史记、汉书、左氏传、司马通鑑，暨中外舆图地誌、山川阨塞、兵政机要，探讨尤力。是岁二月湘阴左文襄宗棠(文襄为左氏死后之谥号)以会试至京，公一见订交，相得甚欢。每风雨连床，彻夜谈古今大政，论列得失原始要终，若预知海内将乱者，相与欷歔太息，引为深忧。见者咸怪诧不已。134
左宗棠为学亦不拘于章句，年方18，即购读顾炎武《天下郡国利病书》、顾祖禹《读史方舆纪要》等历史地理名着，“昕夕稽究，有所证发，辄手自条证。见者笑以为无用，公为之益勤。”135胡、左学有同嗜，故能一谈而成莫逆。后来，左宗棠又将女儿嫁给了陶澍的儿子，由此又与胡林翼多了一层亲戚关係。136左宗棠科名甚早，道光十二年中举，但后运不佳，六年中连续三赴会试不第。而胡、曾虽后起，却已相继致身翰苑。宗棠愤而绝意于科举，居家耕读坐馆为生。他与曾国藩相识，是曾丁忧回籍之后的事了，两人间的关係，我们放在后面交待。
再一个重要人物，就是后来并列为“中兴四杰”之一的李鸿章了。此时，他还是个默默无名的晚辈，但曾国藩对之青眼有加。“合肥李公鸿章，本年家子也，中甲辰科举人，是年(道光二十五年乙巳)入都会试，受业公门。公大器重之。”137李鸿章(1823～1901)，字渐甫，号少荃(泉)，安徽合肥县人。李家世代耕读为生，与湘乡曾家一样，数百年与科举功名无缘。鸿章的父亲李文安，138于道光十八年考中进士，与曾国藩为戊戌同年。同年之子即所谓年家子，有了这层关係，曾国藩当然会另眼相看。李自幼颖慧，在父亲与名师指导下攻读经史，学问功底扎实。道光二十三年以优贡参加顺天乡试，一举中式。次年会试不第，留京师读书备考。李文安时任刑部