为了动员边区军民认清形势，从舆论上战胜胡宗南集团的反动宣传，八月二十八日，习仲勋在《解放日报》上发表《提高警惕，保卫边区》的文章。文章指出：“陕甘宁边区的军民和其他解放区军民一样，渴望和平，热爱和平。但是当蒋介石不惜破坏和平，悍然进攻的时候，边区军民也一定会像其他解放区军民一样，给予坚决有力的回击。”他在文章中列举了四个方面的有利条件：第一，陕甘宁边区有悠久的光荣的革命历史。边区军民有能力建设自己的园地，他们有能力保卫自己自由劳作的成果。去年七月关中军民在爷台山消灭进犯蒋军就是一个例证。第二，蒋介石放在西北的反共将军胡宗南，十余年来已和西北人民结下了深仇。可以预言，蒋军如敢于进犯边区，他的后方犹如火山一样，是有爆发危险的。第三，由于一贯的反共反人民教育，胡宗南部队军民关係恶劣，士气衰落，战斗力下降。第四，陕甘宁边区为全国人民希望所寄託的一座灯塔，保卫这座灯塔的力量，不仅有边区一百五十万军民的努力，不仅有解放区一万万四千万人民的拥护，而且还有全国人民的声援。让我们更紧张的工作，使边区成为不可战胜的和平民主的堡垒。
在加强政治宣传的同时，北线战役军事部署亦在加紧进行。习仲勋召集陕甘宁晋绥联防军代司令员王世泰、副政委张仲良、政治部主任徐立清等研究制定北线战役作战方案。成立了以王世泰为总指挥、张仲良为政治委员的北线作战指挥部。
八月底，毛泽东召见习仲勋、王世泰谈话，就北线战役问题，向他们介绍了粟裕、谭震林率华东野战军十八个兵团，在苏中七战七捷的战例，强调了集中优势兵力打歼灭战的战术原则的重要性。
九月中旬，习仲勋指示已到绥德的范明持他写给胡景铎的密信，即赴横山县波罗堡国民党陕北保安指挥部面见胡景铎。范明向胡景铎传达了中共中央和西北局同意其起义的决定，一起商定了起义计划和行动方案。范明返回延安后，习仲勋仔细审查了起义行动方案并一起到枣园，向毛泽东作了汇报。毛泽东指示习仲勋、王世泰说，这个起义可以搞了。他要求联防军集中六个团的兵力于北线，做好接应胡景铎起义的准备，解放无定河以南的大片土地。
十月十一日，陕甘宁晋绥联防军北线战役指挥部进至横山县响水堡以南地区，同中共绥德地委领导会合。决定王世泰、张仲良指挥教导一团、新编第四旅、警备第三旅八团、新编第十一旅二团一部和绥德、西乌审、三边军分区等地方部队一万余人，配合胡景铎部起义。
十月十三日凌晨，北线战役作战部队发起攻击，战斗从榆林与横山之间的武镇和镇川堡打响。同时，胡景铎率国民党保安第九团五个大队二千一百余名官兵，分别在波罗堡、石湾、高镇等地举行武装起义，并迎接范明带领的接应部队进入波罗堡。北线作战部队相继攻占薛家寨、镇川城西北角、吴家园子、麒麟沟、石湾等地，至二十四日，攻克国民党军残部占据的最后据点——响水堡，歼敌两个营。中共中央审时度势，取消攻占榆林作战计划，北线战役胜利结束。是役，国民党军五千余人起义，一千余人被俘或投降，解放了无定河以南三十多个城镇、十二万人口、五千平方公里的广大地区，中共榆横特别委员会和榆横政务委员会先后成立。习仲勋听到胡景铎起义成功的消息后即同马明方等联名致电祝贺：
“将军举反内战之大旗，率部起义，谨致慰问之忱!当此蒋介石一面召开其一手包办的伪国大，一面积极布置进攻延安之际，陕甘宁边区军民誓为抗击蒋胡进攻，保卫民主和平而斗争，深愿团结一致，共谋西北人民之安宁，以慰三秦父老之期望。”
胡景铎率部起义后，部队改编为西北民主联军骑兵第六师，胡景铎任师长，后又任榆横政务委员会主任。十二月中旬，骑兵第六师奉命调驻延安。习仲勋陪同毛泽东、朱德接见起义官兵。毛泽东拉着胡景铎的手风趣地说：胡景铎能在敌强我弱的情况下，下邓宝珊的船，上习仲勋的船，你选择的这个道路是正确的。你们的行动给西北的旧军队指出了一条光明大道。在场的习仲勋和其他领导同志被毛泽东诙谐幽默而极富鼓舞力的话语惹得笑出声来。
已在延安的辛亥革命老人续范亭听到横山起义的消息后，还特为胡景铎赋诗祝贺：
关中豪杰胡景铎，
意志如钢最坚决。
革命诚无愧乃兄，
义旗高揭横山缺。
不久，中共中央西北局召开骑兵第六师党委委员和主要领导干部会议，习仲勋在会上传达中共中央军委的指示，决定骑兵第六师移防甘泉县清泉沟继续整训，同时加紧军事训练，准备参加边区自卫战争。他特别要求师党委选拔一批干部到联防军去学习，再派一部分干部到兄弟部队参观，以提高他们的军事政治素质。
习仲勋后来回忆说：从整个解放战争的全局看，横山起义的规模不算大，但它的意义不可低估。因为这个起义发生在陕甘宁边区的北部战线上，发生在直接包围边区的国民党军队中，发生在敌强我弱，敌攻我守，敌人气焰十分嚣张的时候，发生在一些同志和朋友对中国革命的前途感到忧虑的时候。正是在这样的形势下，胡景铎响应党的号召，率领数千名官兵高举正义的旗帜，义无反顾地投向党领导的革