1930年，红军中出现了一场打AB团的错误运动。所谓AB团，是在1927年江西成立的一个反革命组织。AB团是反布尔什维克的英文缩写。其实这个组织在红军中人数极少，寿命很短，但当时在左倾思想占上风的时候，全红军都要抓出AB团分子，一旦认定，就会被砍头，一时误杀了很多革命同志。黄克诚当时被委任为团“肃反委员会主任”，对这种盲目抓人严刑逼供的做法很反感，但上级保卫局不断催促他完成抓人人数任务，一时有的同志受不了逼供而诬陷了其他同志。黄克诚心里明白，这些同志是一些勇敢的战士，对党是忠诚不二的，就极力保护他们，不执行上级命令。事情闹到军团政治部，有人反倒怀疑黄克诚也是AB团分子，要查他。这时彭德怀出面了，说：“黄克诚要是AB团分子，那还有谁不是啊？笑话！”结果，黄克诚虽没有被戴上AB团分子的帽子，但团政委的职务却被撤了，调到军团政治部当了个巡视员。直到夏天上级才委任他为红3军第3师政委。
     1931年7月，蒋介石发动了对红军的第三次大围剿，调动30万军队分兵三路进攻中央苏区。这时黄克诚所在的红3军正驻在闽西建宁、泰宁一带，听到消息后，部队立刻进入备战状态。毛泽东指示红1方面军主力绕到兴国，直捣敌人后方，然后由西向东横扫敌军后方联络线，把敌人主力撇在赣南。若敌军回身过来，必定疲于奔命，再寻机打可歼之敌。7月10日，红3军团沿闽西的山间小路向兴国进发，两地有千里之遥，沿途是崇山峻岭，又值酷暑，军情紧急，部队行军之困难不言而喻。黄克诚的眼睛高度近视，夜间行军不敢戴眼镜，只得由人引着爬山越岭，困难更在他人之上。他仍然随军日夜兼程，终于随部队在7月28日赶到了兴国。31日，部队从兴国经万安突破富田时被敌军发现，敌军立刻从四面包围过来，一时3万多红军隐入高兴圩附近的山林里，等待总部命令。黄昏时分，红12军把敌军主力引走，红3军团在夜间悄悄地转移到莲塘地区。8月6日夜，红军主力向莲塘地区的敌军上官云相的第47师发动攻击，首战告捷，歼灭敌军一个旅，敌旅长谭子钧被击毙。红3军团接着进攻黄陂，歼敌三个师。之后红军左征右战，转战于兴国、东固、白水等地，两个多月间，击溃敌军七个师，歼敌十七个团，计3万多人，取得了第三次反围剿的胜利。

　　1931年，黄克诚任红3军团第1师政委，1月10日接军委命令率部攻打赣州。当时，黄克诚对敌我情况作了分析后认为，打赣州是冒险行为，从地理形势上看，赣州易守难攻，从兵力上看，敌强我弱，加上我军没有攻城经验，而敌军守城早有防备，所以打赣州并非良策，不如围赣打援。然而当时彭德怀打赣州的决心很大，又是军委命令，如能打胜，会给中央苏区造成极好的有利形势。于是战斗如期进行。黄克诚率部攻打赣州西门，几经恶战，敌军火力太猛，敌军在城内又筑有两道工事，致使红军战士牺牲过多，进攻多次失利。一个月过去了，赣州仍未攻克。这时国民党集中了更多兵力前来支援。一夜，黄克诚部遭到敌军偷袭，师长被敌人捉走了，红1师处境十分危险，面对不断拥来的敌军，黄克诚命令部队向南门方向撤离，好与第2师会合。这时，南门也是一片混乱，军团参谋长邓萍还在指挥部队对抗。黄克诚见情况十分不利，劝说邓萍撤离，邓萍同意后，部队冒死突围，黄克诚带着部队冲破敌人的火力网，撤离了赣州。这次黄克诚在敌反攻时，未接命令就主动撤走，但是由于处置恰当，才未被追究。不久红3军团召开田村会议，批评黄克诚的右倾机会主义，不过还未撤职。此后黄克诚一直受批。1932年10月，中共苏区中央局会议后，毛泽东的军队领导职务被免除。这时红3军团召开广昌会议，因黄克诚在红3军团同意毛泽东的正确主张而被批判，也撤了他的师政委的职务，黄克诚改任红3军团政治部宣传部长，一星期后又改任教导营政委。后来部队在江口集结，黄克诚又调回红3师任政委。
    国民党在1933年发动了第四次大围剿失败后，紧接着又发动了第五次大围剿。蒋介石率百万大军围攻革命根据地，红军这时却在王明的错误指挥下多次失利。为了保存革命火种，中央决定进行战略转移，二万五千里长征从此开始了。10月17日，红3军团奉军委命出发了，军团代号是“福州”。此时，红3军团是全军的右路先锋，黄克诚所率的红4师又是军团的前卫部队。10月22日，红3军团突破第一道防线，红4师渡大庾河占领了新城，分左右两路进入湖南。11月3日，红3军团迫近汝城，在第二道防线遭遇敌军。在彭德怀的指挥下，红3军团迅速打退敌军，突破封锁线，接着一鼓作气攻开敌第三道防线，受到中央军委嘉奖。此时，蒋介石才发现红军西进的意图，是要和湘西北的红2、6军团会合，急调40万大军沿湘江两岸构筑起第四道封锁线，以阻止红军西进。11月26日，红3军团急行军进抵广西文市，以红4师为先锋向湘江东岸的界首进逼，顺利攻占该镇，接着渡过湘江，在光华铺与敌军对峙，成为中央纵队的左翼，而右翼的红1军团也已占据全州，为中央红军抢渡湘江起到极为有利的保护作用。但是中央红军行动缓慢，错失良机，致使敌军迅速压过来，使我军左右两翼军团受到极大的威胁。11月29日，敌人向红4师发动进攻，阻击战打得十分艰苦，一天内牺牲了两个团长，三天后，红军以400多人的伤亡代价打退了敌人的反攻，掩护了中央红军渡过湘江。之后，红4师仍旧担任掩护中央红军前进的任务，和敌军多次相遇，又多次打退敌人，使部队一点一点地向前推进。1935年1月3日，红3军团接军委命令，抢渡乌江，夺取遵义，四天后，遵义已在红军手中。15日，党中央在遵义召开了具有伟大历史意义的遵义会议，纠正了错误，总结了教训，肯定了毛泽东的军事思想，并推选毛泽东为三人军事领导小组成员之一。会后不久，毛泽东来到红3军团传达会议精神，黄克诚又一次听到了毛泽东的讲话，格外激动，同时也充满必胜的信心。1月19日，红军主力分三路向习水、赤水方向进发，红4师这次担任后卫，在遵义阻止敌军追击，战后追上了主力，随主力部队向黔川边境前进。此时，蒋介石调20万大军包围过来，企图阻止红军入川，消灭红军于贵州境内。28日，红军与敌军在土城打了一场恶战，死伤惨重，次日撤出战斗，西渡赤水。2月上旬入云南境内，在扎西集结，部队进行缩编，红3军团直辖四个团，即红10、11、12、13团，黄克诚为红10团政委。19日，红3军团再渡赤水，苦战两日后夺取了娄山关，又向遵义挺进。攻城时，军团参谋长邓萍不幸牺牲。攻克遵义后，黄克诚部奉命再战城西的老鸦山，以阻敌人援兵于城外。此仗打得更是艰苦，团长负伤，团参谋长牺牲，只有黄克诚一人指挥战斗。后来在其他军团的支援下，红军全歼敌人两个师，八个团，俘敌3千多人。这一仗是长征以来遵义会议以后打得最漂亮、战果最辉煌的一仗，也打出了红10团的军威。此后在长征途中，黄克诚的职务有好几次升降，最后随红军顺利到达陕北。万里长征胜利结束了。