成功之路总是荆棘密布，对于出身平凡之人，想要成功的确很困难，曾国藩用亲身事迹诠释了普通人也能够通过锲而不舍的努力和逆流而上的意志，成为真正了不起的人。
1853年1月底，曾国藩正式开始了着手创办湘军的工作。
曾国藩还在老家守制时，就听人说起过湘乡县县令朱孙诒已经建立起的一支乡勇，那支乡勇实际领头人是刘蓉、罗泽南和他的两个学生李续宾与王錱，兵力有一千多人。曾国藩派人过去把朱孙诒和他的部队接了过来。
朱县令认为八旗绿营已经腐败入骨、无可救药，跟曾国藩建议自己新建立的这支队伍必须让罗泽南领兵，而不要让八旗绿营的人掺和进来。
曾国藩对朱孙诒的观点也很赞同，于是他便开始依照“选士人、领山农”的选拔方式，开始招募底层知识分子以及山区农民来组成自己的新式军队。
和曾国藩一起领旨办团练的有43个官员，他们大多都完不成任务，即使勉强凑出一支军队也战斗力低下。比如担任湖南按察使的徐有壬，本是清朝著名的数学家，在数学方面非常有造诣。后来在1860年4月，太平军进攻苏州，徐有壬的团练一哄而散，苏州失陷后，自己也葬送了性命。
两湖总督徐广缙因太平军攻克武昌被撤职，咸丰帝命张亮基接替，继续剿灭太平军。xuqi.org 海豹小说网
张亮基上奏说为了防止太平军回窜，希望咸丰帝能让自己能继续留任湖南，再巩固一下湖南的防御，奕詝不批，要求张亮基迅速去接任，湖南巡抚由骆秉章接替。
在太平军的包围跟清政府无效管理下湖南局势非常动乱，到处是肆无忌惮抢钱抢粮的土匪。曾国藩认为这是一个向朝廷要政策的绝佳机会，在1853年3月21日（咸丰三年二月十二日）便给咸丰皇帝上了一道奏折，叫《严办土匪以靖地方折》。
3月29日（咸丰三年二月二十日），洪秀全带领太平天国建都天京（今南京），并颁布了一部指导太平天国管理的文字性纲领——《天朝田亩制度》。
《天朝田亩制度》奉行“有田同耕，有饭同食，有衣同穿，有钱同使”的原则，按照人口数量、不论男妇“好丑各一半”的分田办法；规定县以下行政制度，设立各级乡官，并规定乡官的保举，升贬、奖惩办法；规定余粮、余钱缴“国库”的办法，每家农副业收获，扣除口粮外，其余送缴“国库”按制发给；废除封建买卖婚姻，规定“凡天下婚姻，不论财”。
《天朝田亩制度》的颁发，具有一定的进步意义，洪秀全所领导的太平天国从理想上是想彻底废除私有制度，追求小农意识和绝对平均的理想社会主义，它的核心是宣布一切的土地和财富都属于皇上所有，并没有保障广大人民群众的利益，摆脱不了封建皇权思想的束缚，仅仅是从一种皇权走向另一种皇权的更迭，所以这为未来的内讧和底层官兵不满埋下了伏笔，这种制度也从根本上无法真正实现。
4月初，咸丰帝接到奏折后很是不悦，朕本来是让你曾国藩灭太平天国的，你却放着老虎不打打苍蝇，长毛不杀杀土匪。但是此时全国各地的天平天国运动愈演愈烈，洪秀全连当上皇帝后要怎么来主持全面工作的假设都想好了，咸丰帝担心目前清政府勉强控制的这种局势很快就要全面失控，权衡了弊利后不太情愿的批准了。
曾国藩收到咸丰帝的回复后高兴不已，决定来一次高水平、高效率的手段来解决这帮土匪，也让一直对自己有偏见的咸丰帝这次能够刮目相看，开始大张旗鼓的剿匪了。
曾国藩单独开设了一个叫“审案局”的机构，号召平民百姓全员出动，男女老少都可以来抓土匪，抓住后不需要送去州县，事急从权，可以直接越过大清的法律送到“审案局”，凡是已经被定义成“土匪”这一类的案子，不需要严格的证据，“审案局”单凭扭送者的口供和自己的感觉就可以定案。
处理这些“土匪”的方法有三种：
第一种是有证据证明抓到是土匪的，可以当场砍头。
第二种是一般性犯罪的，抓到后用杖刑打死。
第三种是情节比较轻的处以鞭刑再投送到监狱。
用曾国藩自己的话就是：“匪类解到，重则立决，轻则毙之杖下，又轻则鞭之千百。敝处所为止此。”
就这样，短短4个月审案局就斩了“土匪”104人，杖毙2人，死在监狱里的人也有31人。所谓乱世用重典，利剑刹歪风，这就是高效率的“打黑”高手，放在当时那个环境下来解决这种复杂的问题，本来就没有唯一正确的答案，谁能说的清楚这是对还是错呢？最明显的一个变化就是，通过这种高压手段惩治后，湖南的土匪们都不敢轻举妄动，逐渐销声匿迹了，社会风气也迅速开始好转。当地的老百姓也给他送了个称号——“曾剃头”。
其苟且者，知将来之必敝；其知当者，知将来之必因。所谓虽百世可知也。
——曾国藩
然而，“高手”曾国藩这样“不伦不类”的高调“打黑”，也容易成为其他同僚的众矢之的，差点把命都打丢了。
因为咸丰皇帝的诏书是让曾国藩帮同办理本省团练乡民、搜查土匪诸事务。并没有让他审案。由于曾国藩抓到人当场就把案给办了，送礼求情运作捞人的机会都没有。在清朝的官场，权力就是官员们的摇钱树，案子就等于白花花的银子，本来剿匪不是打打杀杀，而是人情世故。官僚们都遵循这种潜规则玩了很多年，曾国藩一来，不但把别人的底裤都脱光了，连大家切蛋糕的桌子也给端了，政治生态被他严重的破坏，湖南其他官员面子里子都没了。
就你曾国藩能干，我们都是废物。湖南这些官员自然对曾国藩恨之入骨，却又对这个中央下派的“曾剃头”无可奈何。
曾国藩在长沙拾完土匪，顺便还积累了点军费，胸有成竹的开始练兵了。
本来按照之前朱孙诒的计划，先把湘勇作为一支精锐部队训练好，不参合其它编制的队伍进来，这样对于单纯的新兵比较好管理，能够快速培养出部队的战斗力，容易干出成绩。
然而省武装部曾部长并不这么认为，他看不惯朝廷驻长沙的绿营军**泛滥，军纪散漫，曾部长明目张胆的把手伸到了驻长沙的绿营军的裤兜里，他派人通知所有在长沙的军队，在每个月3号和8号这两天与湘军一起前来操练，由他亲自来端正这些兵油子的“不良习气”。
“传唤(绿)营兵，一同操演，亦不过会弁委前来听我教语。”“每逢三、八操演集诸勇而教之，反复开说至千百语，但令其无扰百姓。”“每次与诸弁兵讲说，至一时数刻之久。虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血。”其目的“盖欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫无纪律之态。”
——《曾国藩全集》
曾国藩虽然一片苦心，但是绿营对他的这种严格的操练方式没有认同感，过去大家懒懒散散，每天上班就是来打打卡、摸摸鱼，工资一分钱也没有少，现在你曾部长一来，就把我们这群城管队当作海军陆战队来训练。钱你从来也没有给我们多发，更令人气愤的是，我们跟你说过去，你跟我们谈纪律；我们跟你说待遇，你要我们滚回去。这样怎么谈的好？
时任湖南提督鲍起豹手下的几个绿营操练完后，一路上怨声载道咒骂着曾国藩，找到附近一家小酒馆点了几个菜，准备像往常一样喝点酒，发泄一下。正巧几个湘勇也进来了，在对面桌坐下。
酒馆老板抄的湖南菜很地道，味道非常好，这群人不知不觉吃着可口的下酒菜，都喝高了。平时本来就相互看对方不爽，双方借着酒劲发生了冲突动起手来，绿营人多一点，将湘勇打伤。
事情传到曾国藩那里后，他认为这群绿营本来就是本地兵油子，现在仗势欺负外地人，这次必须给他们点颜色看看，于是发了文书要求鲍起豹处理带头闹事的绿营兵，以杜绝私斗的风气。
官二代鲍起豹从来就看不起土包子曾国藩，这次双方打架本是互殴，算不上谁欺负谁，但曾国藩好歹是二品京官，不便正面硬抗，于是鲍起豹心生一计，找来副将清德，要他安排人把带头的几个绿营兵捆送到曾国藩的公馆去。回营后又要人散布消息称：湘勇跟绿营兵喝酒斗殴，湘勇打输了，曾国藩偏袒湘勇，而要严惩绿营兵中这几个兄弟。
这招戳到绿营兵的痛处了，平时你曾国藩对我们指手画脚我们当兵的就忍了，这次你就太过分了。一石激起千层浪，绿营一传十，十传百，顿时群情激愤，纷纷上街游行，要求曾国藩释放绿营兵。
鲍起豹再次暗中煽风点火，推波助澜，长沙城的舆论一时大乱。
几天后，一群气势汹汹拿着兵器的绿营兵冲进巡抚衙门，曾国藩正在衙门内处理公文，他的随从上前阻拦，被砍伤。
曾国藩见势不妙，就往从湖北调任湖南不久的巡抚骆秉章办公室跑。其实他的公馆和骆秉章的办公室只有一墙之隔，按道理早就听到了声响，可是直到曾国藩跑去敲骆秉章的门，这糟老头子才故作惊讶出面调停。
带头的绿营兵见是骆巡抚出来了，立马让其他人规规矩矩站好敬礼。
骆秉章刚任巡抚的时候，就不满曾国藩擅自办案的作风，认为曾国藩把他这个巡抚给架空了，但由于是曾国藩是朝廷红人，办的又是公事，骆秉章不好发作，这次借这个机会正好灭灭曾国藩的威风。
骆秉章让人把之前被捆起来的绿营兵带来，当着曾国藩的面，亲自为他们松绑，还装模作样跟他们道歉，说他们受了委屈，然后恭恭敬敬的把他们送了出去。
曾国藩见骆秉章这穿帮明显的拙劣演技，气坏了，说骆巡抚你真是糊涂，这群兵油子擅闯省府衙门，你不但不管，居然把打人的犯罪嫌疑人放了，还假惺惺给他们道歉，这不是善恶不分吗？
骆秉章却笑着说：“曾大人，在这里这些日子，你的确也很不容易，年纪轻轻就是朝廷大员，作为武装部长既要练兵打战，还要操心地方办案这样的琐事，可能你对于地方的治理和政治生态没有什么经验，但是我们还是要接地气啊，不能因为一时的意气跟绿营伤了和气，以后为国打仗剿灭长毛，恐怕还都要靠他们啊。”
说完头也不回的走了，留下目瞪口呆的曾国藩。
一个国家中央部级干部，被几个新兵拿刀威胁，还被巡抚给放了，这简直是奇耻大辱，连曾国藩的部将塔齐布都看不下去，悄悄凑在曾国藩耳边说：大人，这巡抚和提督分明是串通好的，不如我们把这个情况如实上奏朝廷。
曾国藩摆了摆手：算了，国家大敌当前，我们先不能计较个人恩怨。
他内心明白，自己已经得罪了湖南官场，即使折子上去，下回肯定还有人给自己挖坑下绊子，虽然搞政治斗争是自己的强项，但这样内耗下去无非也是两败俱伤收场，理智让曾国藩克制自己的愤怒。
再在长沙呆下去这面子肯定是没有了，此处不留爷自有留爷处，曾国藩一番思考后作出决定，把湘勇带往衡州的演武坪去操练。
演武坪原为古代练兵场，衡州城小西门外蒸水南岸，有一片宽阔的荒地，当地百姓称之为演武坪。这是当年明末吴三桂在衡州称帝时，为练兵而开辟的，后来便成为历代驻军的操练场，但演武坪并未有给吴三桂带来好运，在衡称帝失败后，演武坪一度归于沉寂，两百多年后，随着曾国藩的到来，演武坪又渐渐热闹起来。
曾国藩把他带来的一千多号乡勇，安扎在演武坪旁边的桑园街，指挥所设在桑园街上一栋赵姓祠堂里，平日里操练兵马，煞是威武，除了操练步军之外，曾国藩还在不远的湘江河上大练水师，每日里战船穿梭，杀声震天。
曾国藩原以为离开长沙纷扰到衡阳来练兵，一切都会好起来，可真正搬到演武坪之后，发现办团练过程比之前遭受排挤，还要困难。
一是手中没有实权。咸丰皇帝对他的任命是：“令其帮同办理本省团练乡民、搜查土匪诸事务。”也就是说，曾国藩仅仅是湖南巡抚的副手，湖南巡抚是从二品，曾国藩是正二品，从级别上来看曾国藩比巡抚要高一级，但按照清朝的官制规定，丁忧在籍的官员，手中没有任何实权，也不能插手地方政务，权力还不如临时工左宗棠。
二是没有经费。按照朝廷的规定，地方团练大臣必须自己想办法解决经费问题。在任何一个时代，并不是你图有漂亮的口号，光谈人生的理想这种画饼洗脑似的管理，那叫传销，钱才是能激发人动力最现实的因素，没钱谁来帮你打工呢？
三是人才稀缺。曾国藩虽然是湖南人，本来有一定的人脉基础，但他一直在京城为官，加上刚掀完湖南官员的桌子打完脸，这时候没人愿意帮他，基本上就是一个光杆司令。
但这些困难都难不倒能人曾国藩。1853年8月，曾国藩依靠在湖南的师徒、亲戚、好友等各种人际关系不断扩大湘勇数量，从而也筛选了一批知识分子和军事人才。
时任广西提督的向荣领兵到湖南追击太平军时，一名叫鲍超伙夫因在永安之战上身负重伤，不能行动，于是留在广西疗伤。待到伤好了，鲍超到湖南长沙去找向荣，四处打听后才得知，向提督已经去南京江宁建立江南大营去了，准备合围太平军。
盘缠用光的鲍超看见湘军招聘广告后，也报了名，之后被分到隶属水师杨岳斌部任哨官，成为湘军未来的一名悍将。
人是勉强有了，部队要训练出战斗力，仍然需要更多的经费，朝廷一分钱都不给，湖南这些官员都在等着看曾国藩的出丑，想找他们要更不可能。好在朝廷虽然不给钱，总算还是给了点政策。湘军可以通过“捐输”、“厘金”、“杂捐”等手段来筹集经费。意思就是湘军可以通过乱摊派、乱收费、乱罚款来养活自己，还会搞点走私活动和贩卖私盐，由于湖南的经济不太发达，所以湘军靠着“三乱”也只能勉强维持庞大的军费开支。但是水师强化需要装备火炮，当时最先进的火炮是洋炮，价格及其昂贵，湘军的军费仅能解决温饱，没有钱买洋炮怎么办呢？
曾国藩心一横，派人把从广东海关解往江南大营的四万两饷银给扣下，然后拿着这四万两银子去广州买洋炮。
擅自扣押江南大营的饷银，难道曾国藩不怕时任钦差大臣的江南大营总指挥向荣向朝廷告状被处分吗？好在向荣也是有格局的人，他没有因此落井下石。
曾国藩一开始内心也在挣扎，他当然知道私扣朝廷军饷是重罪，但是这两年来，在湖南官场处处受制于人，看够了白眼，受够了嘲讽，现在只能把自己投入到生死豪赌之中，孤独求胜，必须要用一场胜仗来回击那些看台上的人。如果不买洋炮来武装自己新建立的水师，与太平天国的水师对决湘军很难取胜；买了洋炮，虽然不能说一定能赢，但胜败听天命，至少没有遗憾。再就是赌，以大清国的办事效率，等到这件事查办下来，已经开战了。到那时，如果湘军能取得胜利，朝廷也不会重罚打胜战的部队了。
不为圣贤，则为禽兽。
——唐鉴赠曾国藩《畿辅水利备览》
可是现实总是比理想要残忍，历史上的战役，书生带兵这一方很少能赢，曾国藩也不例外。