习仲勋还特别关注机构改革后新班子的建设和干部的成长。在接见调查部新领导班子成员时，他语重心长地说：
你们要鼓起勇气，挑起担子，事情就是压出来的，要主动挑担子。年轻的同志多向老同志学习，多向老同志请教，拜他们为师，必要的会议请他们参加。老同志要主动、热情地帮助年轻的同志。你们要坚持民主集中制，大事要广泛征求意见，然后集中起来。就是要发扬民主，不要各行其是，不要搞一言堂。要搞五湖四海，不要搞帮派，对干部不要分亲疏，办事要公道。比如你和我虽然关係很好，但办事还是要坚持原则，办事没原则，就是没有党性，或叫党性不强，就应进行批评。这样，你们就可以搞出一个生动活泼的局面来。
经过习仲勋的辛勤工作，他所联繫的部门的机构改革都进行得很顺利。通过改革，党中央直属单位局级机构减少百分之十一，工作人员总编制缩减百分之十七点三，各部委的正副职减少了百分之十五点七，在新的领导班子中新选拔的中青年干部占百分之十六，平均年龄由六十四岁降到了六十岁，正常的干部离退休制度建立起来了。在谈到机构改革的成果时，习仲勋说，这次改革之所以进行得比较顺利、比较快，受到党内外、国内外的普遍好评，原因是：一、领导决心大，一开始就下定决心，抓住不放，一抓到底;二、坚持走群众路线，改革方案几上几下，反覆酝酿;三、老同志从革命大局出发，站得高，看得远，发挥了比较好的作用。
正值中直机关机构改革进行之际，一九八二年六月，中共中央决定“各省、市、自治区党委可参照中央党政机关机构改革的精神和做法，结合本地的实际情况，酝酿製定机构改革方案。条件成熟的地方，在机构改革方案报经中央批准后，可在下半年开始进行;条件不成熟的地方，可先做酝酿准备，明年开始。”省级机构改革从一九八二年十月开始到一九八三年三月基本结束。在此期间，为了推进各省市区领导班子年轻化，习仲勋多次约请有关省市领导人谈话，做深入细緻的思想工作。
一九八三年二月，习仲勋到福建省就干部“四化”、地方机构改革、领导班子建设和改进工作作风等问题进行专题调研，中共福建省委第一书记项南陪同他实地考察了福州、泉州、厦门、漳州和闽北山区。
二月十七日，习仲勋在厦门召集厦门市领导谈话。当他看到在座的既有年龄较大的老同志，又有中青年干部，还有妇女习干部时说，今天这个会很好，来的干部中有老的，有新的，还有年轻的女副市长，你们在新老合作和交替方面带了头。新老要交替，要合作，非这样办不可，这是历史发展的规律。现在最重要的是要积极选拔一些德才兼备的优秀青年人上来，老同志要大力扶持他们工作。从历史上看，马克思、恩格斯，以及许多有成就的人，干事情时都在三十岁左右，三十几岁是最能干事的时候。
习仲勋强调，现在我们就是要宣传这个思想，要大胆提拔年轻人，要热情支持和积极帮助他们工作。对青年人，把担子放在他们身上才能锻炼出来，不压担子，永远也不行。我们老同志都是这样过来的，所以要给青年人压担子，要给他们加责任。已经和将要到领导岗位上的年轻同志，一定要认识到自己的担子很重，既要虚心学习，又要大胆工作，要有一股闯劲;要勇于和善于开创新局面。我们老同志要有这个觉悟，站好最后一班岗，保持晚节，在我们去见马克思之前看到新秀都健康地成长起来，我们也就放心了。如果我们现在不下决心调整班子，不自觉进行新老交替，选拔青年干部上来，那是要贻误党和国家大事的。现在，我们有些公社党委书记五十岁，许多县委书记五十几岁，还有六十多岁的。如果再不抓紧进行新老交替，再过十年，那时我们各级领导班子成员的年龄状况会老化到什么程度呢?
他说，当前摆在我们面前的一项很重要的任务是挑选干部。从今年开始，各省、市、自治区每年都要从大学毕业生中挑选一批，不是让他们坐机关，而是让他们下去，到一个公社去，到一个大队去，到一个工厂去，锻炼几年，然后逐步地择优选拔到各级领导岗位上来。这是培养德才兼备干部的一条重要途径，是一项战略措施。挑选人才，品质是最重要的，当然还要有才，就是德才兼备。大学生不一定才都好，但文化水平是成才的基本条件，要儘量高一些。大家都要从自己的实际出发，努力学文化，提高文化水平，在这方面要抢时间。选拔、推荐年轻同志进领导班子，要群众推荐，光上面几个人选拔不行。说张三李四好，要群众公认才好，群众不批准，你就得不到群众的支持，什么事也办不成。
习仲勋还对老同志提出了殷切希望。他说，我们老同志退下来，超脱一些，还可以做些事，甚至可以比在职时做得更多，做得更好。中央有个经验，就是现在有很多事情都是请老同志去做。中央组织了一个调整配备省、市、自治区领导班子的指导小组，宋任穷同志负责;还新组织了一个中央和国家机关机构改革工作小组，薄一波同志负责。这两个小组的成员大部分是中央党政机关各部门退下来的老同志。我们老同志要有自知之明。可以回顾一下自己的过去，看看对一些重大问题的处理，是对的，还是错的?在紧