一九五一年秋，习仲勋和中共中央西北局把土地改革工作力量集中到回汉杂居、少数民族较多、民族问题比较复杂的甘肃和青海部分地区。这些地区的土地改革比第一批难度更大。八月二十二日，习仲勋参加了中共甘肃省第二次代表会议，并作了《动员一切力量，为完成甘肃全省土地改革而斗争》的报告。他指出：今天党的土地改革的路线和政策，较之任何时候都更加完备，也已被领导机关所掌握，“我们对完成全省土地改革的总任务，是完全有信心的”。但他又提醒大家，“对完成每一地区的土地改革，斗倒每一具体的敌人，则不可轻视。必须全党动员，各方配合，充分准备”。习仲勋要求甘肃各级干部，切实贯彻党和人民政府在土地改革工作中的总路线和总政策，说“这是一条完整的路线，不能加以割裂”，既要放手发动群众，又要随时注意防止和纠正可能产生的偏向。
对少数民族杂居区或聚居区的土地改革，习仲勋格外谨慎，进行了周密的思考和精心的部署。他指出：“在这些地区进行土改，必须要以民族团结为基础，以当地民族大多数群众的自觉为前提，要有当地民族干部参加工作，要以少数民族群众为主去向本民族的地主进行斗争”，“必须首先争取和团结各民族各方面的人士赞助土地改革，只有团结各族各界民主人士，联合一切可能联合的各族上层领袖人物和各教派中的一切赞成土改的人士，才能使农民声势更加壮大，地主阶级更加孤立。”他特别指出：甘肃的临夏地区是“历史上回、汉衝突最尖锐的地区”，“一定要和其他地区的做法有所区别”，即在工作的步骤和方法上要更加谨慎，更加细緻，耐心地做好教育群众的工作，一切都要按群众的觉悟程度办事，反对简单急躁和包办代替的做法。他说：临夏的土地改革“就其全过程说，仍然是必须充分发动群众的，这是不能变的。又必须是以促进和加强民族团结为前提的，这也是不能变的。是在民族团结的基础上，去开展反封建土地剥削制度的阶级斗争，又从深入反封建的阶级斗争中，去提高回、汉广大劳动人民的政治觉悟，以加强和巩固民族团结”。在他的精心安排下，西北军政委员会机关派出了一百多人的土地改革工作队，专程前往临夏地区帮助工作。
为了减少少数民族地区土地改革的阻力，习仲勋根据当时的实际情况，提出了“联合封建反封建”的观点，得到了中共中央和毛泽东的讚赏。
所谓“联合封建反封建”，就是先做好争取团结少数民族上层人士的工作，然后再去发动群众进行土地改革。习仲勋说：民族地区的改革，毫无疑问地是要依靠当地民族大多数群众的自觉行动和当地民族干部，“但更重要的是，一定要先做好争取各民族上层、争取宗教方面的统一战线工作，然后去发动群众，不可颠倒过来”。他认为：少数民族地区矛盾的主要方面在上层，“联合封建反封建”是由那里矛盾的特殊性所决定的。要对民族上层人士采取宽大的让步政策，争取各少数民族上层和宗教方面的人物出来赞助土地改革，至少要保持中立，“用赞助土改或不反对土改来换取‘改得和平些’，以及在宗教方面、在关係他们自身的某些方面与我们的某种妥协。我们呢，就用‘和平些’和某些必要的妥协去换取发动群众的较好条件。保存一部分封建，搞掉大部分封建”。
四月十日，习仲勋向中共中央和毛泽东报告了三月份的工作情况，重点报告了土地改革的工作方针，其中对甘肃临夏地区的土地改革特别提出建议：“办法上可组织回民中上层人物回去参加领导;政策上可以对民主人士和进步分子妥善加以照顾。凡不抗拒土地改革的地主，一律放宽对待，把打击面缩小到最小限度，甚至不妨带点和平分地的味道。这样分地时，似乎和平一点，而农民分得土地之后，地主阶级就孤立了，农民势力也就盛了，就会斗争了，而且一定能胜利。”
中共中央肯定了这一做法，批覆给习仲勋：“你四月十日送来三月份综合报告，很好。其中所提三个问题的方针，都是对的”，“均可照你所拟定的计划办理。”临夏地区按照习仲勋提出的方针和政策开展工作，“土改进行得比较顺利，取得很好成果”。习仲勋还要求进行土地改革的各省对各民族、各教派的领袖人物排出名单，在土地改革中予以适当保护。甘肃省保护了马全钦等人，青海省保护了马辅臣等人，使少数民族地区的土地改革得以稳妥推进。
一九五一年底，习仲勋视察了青海部分地区的土地改革工作。在塔尔寺附近的农村，他询问农牧民群众愿意不愿意进行土地改革，得到的回答是不愿意。一位长者反映说：几千藏民在塔尔寺所属的土地上耕种放牧，收穫的麦草供寺院烧火做饭，现在土地分到一家一户，寺院就收不上麦草了，烧火做饭成了问题，请求不要进行土地改革。习仲勋弄清这些情况后，便以中共中央西北局的名义做出决定：凡是寺院辖区的农牧民暂不实行土地改革。广大僧众非常感激，青海人民群众也非常满意。
从一九五一年冬到一九五二年五月，中共中央西北局在甘肃、青海、宁夏等省的一百零六个县、八个市、一千六百万人口的广大地区完成了第二批土地改革;一九五二年冬到一九五三年春，在新疆的六十二个县、四百