中央书记处这一时期多次召开会议，讨论中央和国家机关的机构改革问题。一九八一年十月十五日，中央书记处会决议定中央机关机构改革由胡耀邦、赵紫阳主持，中央直属机关机构改革由习仲勋牵头，宋任穷、冯文彬、邓力群等参加;国务院机关机构改革由万里牵头，余秋里、谷牧、姚依林、袁宝华等参加。十一月九日，中央书记处决定由习仲勋、万里分别负责制定中直机关和国务院机构改革方案，提交中央书记处会议讨论。习仲勋、万里组织力量，经过近两周的艰苦工作，在前期工作的基础上起草了《关于中直机关机构改革方案》和《关于国务院精简机构和人员的意见》。十一月二十三日，中央书记处会议对这两个文件草案进行了讨论。二十七日，中央书记处会议又一次讨论，基本同意两个文件，决定提交中央政治局扩大会议讨论。
一九八二年一月初，中共中央政治局讨论中央机构精简问题，原则同意《关于中直机关机构改革方案》和《关于国务院精简机构和人员的意见》。在这次会上，邓小平严肃指出：“如果不搞这场革命，让党和国家的组织继续这样的机构臃肿重迭，职责不清，许多人员不称职、不负责，工作缺乏精力、知识和效率的状况，这是不可能得到人民赞同的。”“这场革命不搞，让老人、病人挡住比较年轻、有于劲、有能力的人路，不只是四个现代化没有希望，甚至于要涉及亡党亡国的问题。”
一月二十八日，中央书记处再次讨论中央机关的精简问题，通过《中央书记处各同志对精简整编机构工作的分工》意见。中直机关由习仲勋总负责，冯文彬协助，负责的单位是中央办公厅、中央调查部、中央书记处研究室、中央党校、全国总工会、共青团中央、全国妇联、全国人大常委会机关等。
这次中央机关机构改革的目的，是精简机构、压缩编制，建立正常的干部离退休制度，使一批老同志退下来，选拔一批年轻的干部进入领导班子，实现干部革命化、年轻化、知识化、专业化。习仲勋要求，中直机关干部要从生产关係重大变革的角度来认识机构改革的重大意义。他指出，党中央这个决心下得对，是一项战略决策，具有深远的历史意义。精简机构是一场深刻的革命，触及到每个人。老同志退下来也是革命。他说，退下来的老同志于什么?有的同志精力还很充沛，有的同志还有剩勇余力，要“余热”利用，还可以为党为人民做许多事情。
习仲勋对中直机关的干部说，必须按照德才兼备的原则选拔十部，尤其是中青年干部。所谓德，最主要的就是坚持社会主义道路和党的领导。在这个前提下，干部队伍要年轻化、知识化、专业化。他还着重指出，要通过机构改革，采取适当的过渡办法，逐步废除干部领导职务的终身制，建立有利于大量培养、选拔优秀的中青年干部到各级领导岗位的新制度，保证我们党和国家的事业继往开来、持续发展。机构改革不仅要解决干部年轻化的问题，而且要解决官僚主义、办事拖拉、工作效率低的问题。因此，机构改革是适应历史发展的客观要求，合乎人民心愿的一场深刻革命，绝不是简单地为了撤併一些机构，减少几个干部。如果把机构改革看成仅仅是为了减少机构和工作人员，那就没有认识到这次改革的根本目的和深渊意义。
中直机关机构改革方案经中央批准后，习仲勋一个单位一个单位地调查研究，按照单位的特点精心组织、分类指导、具体落实，他多次与部门领导和有关干部谈话，耐心细緻地做思想工作。
在全国总工会、共青团中央、全国妇联机关的机构改革工作中，注意体现群众团体的特点，进行分类指导，就很能说明习仲勋的工作风格。习仲勋在工作中非常注意从实际出发，按照具体情况开展工作。他认为，工会、共青团、妇联是群众组织，组织机构、人员配备、活动内容、工作制度、工作方法、工作作风等等，都要有利于密切联繫群众，充分反映群众的意愿和要求，维护群众正当的权利和利益。他把机构改革方案和群众组织单位的工作实际紧密地结合起来，要求工、青、妇“搞一个精简的方案，搞一个精简的机构，造成一个好传统”，使它们真正成为群众自己的组织。这三个群众组织在习仲勋的直接指导下，机构得到精简，领导班子得到加强，建立了一系列联繫群众的制度，形成了各具特色的工作特点。
从中央调查部机构改革的过程中，可以看出习仲勋工作的细緻和耐心。中央调查部在“文化大革命”中受到严重衝击遗留问题比较多，机构改革难度较大。习仲勋为了很好地解决这个部的问题，先后同调查部的负责人罗青长、陈忠经、冯基平、王涛江等谈话，做深入细緻的工作。一九八二年四月九日，在弄清情况的基础上，他又与调查部的十二位领导干部一起愿谈，因为有年龄偏大的干部要退下来，所以还特别请中央组织部副部长赵振清一起听取意见。
在座谈会上，习仲勋首先肯定调查部的工作，他说，调查部胜中央的一个重要工作部门。长期以来，广大干部战斗在这条特殊的、隐蔽的战线上，工作做得是好的，有很大成绩，这一点一定要充分肯定。解放战争时期，熊向晖、陈忠经同志在胡宗南那里搞情报，熊向晖同志钻到了胡宗南的心臟，当了机要秘书，他很有才