山根叔亲自烤了六安瓜片茶，洪学智再次尝到家乡熟悉的味道，当他了解到金寨参加红军的十万人，能活着回来的人寥寥无几，洪学智的心里百感交集，他用自己碗里的茶致敬那些为国捐躯的亲人们。

1954年2月，洪学智任总后勤部副部长兼参谋长，后任部长，领导全军后勤实施了一系列历史性的重大转变，领导并实施了部队薪金制，军衔制，义务兵役制等重大制度改革，1954年中国人民解放军进行了服装改革，为1955年授衔做准备。毛泽东，周恩来，朱德和刘少奇一起参观了新军服的样式，洪学智给他们一一做了介绍，主席还对衬衣领子提出了中肯的意见。

1955年9月27日，中华人民共和国主席授衔仪式在国务院礼堂举行，42岁的洪学智被授予上将军衔，成为57名开国上将之一。洪学智带工作组的成员前往西藏果洛军分区的边防兵站实地考察，他们连续走了三天才来到位于高原上的兵站，洪学智首先了解了战士们得生活情况，得知他们平时根本吃不到青菜，只能靠土豆和罐头果腹，紧接着洪学智又来到战士们居住的地窨子，发现这里阴暗潮湿，不但条件艰苦，而且蚊子又多又凶猛，洪学智答应尽快安排经费，为战士们改善建砖瓦房，战士们轮流给洪学智站岗，时刻谨防地老鼠偷偷钻进帐篷。

第二天一早，洪学智骑马前往下一个兵站，工作组成员朱德前路艰险，让洪学智原地等候，他们了解情况以后回来汇报，可洪学智坚持要亲自去查看战士们的生活工作环境，他发现那里条件十分艰苦，风沙大，老鼠蚊子太多，他当即决定给边防兵站拨款建造砖木结构的房子，想方设法种树种菜，把格尔木建成绿洲。

洪学智接到中央军委的急电，催他尽快回来参加党的第八次会议，洪学智让工作组其他成员继续到剩下的几个兵站了解情况。1956年9月，党的第八次全国代表大会上，洪学智当选为中央候补委员，同年11月任中央军委委员，12月，被任命为总后勤部部长，党委书记。时年43岁。洪学智看到一个老乡在地头低声哭泣，他赶忙过去询问其中缘由，才知道他的柿子树被大炼钢铁的人看下当柴烧掉了，老乡全靠卖柿子维持生计，现在一下子没了找落。

青藏线工作组的调研报告送上来以后，洪学智马上报告中央军委和国防部，经中央军委批准，向格尔木及青藏线沿线各兵站下拨了专项经费，彻底改善了兵站指战员的生活。1959年3月，洪学智带领三总部工作组再一次亲临青海和西藏，他发现格尔木旧貌换新颜了，战士们的生活条件大大改善，他们还种菜种树，洪学智觉得战士们的被子薄，当即决定给他们调拨棉花，洪学智随后来到厨房，还亲自帮厨做饭，给路过的汽车运输队的战士们炖了羊肉，战士们还以为他是新来的炊事班长，一起给他敬酒，洪学智就和他们一起吃饭，聊家常，他们还不停地拿洪学智打趣，兵站连长来找洪学智，战士们才知道他是上将。

1959年7月，洪学智接到命令，他从世界屋脊匆匆赶回了庐山，从此以后，他的命运发生了大逆转。洪学智一到庐山，大会工作人员就把彭德怀写给中央的报告交给他，让他明天在大会上发言表态，洪学智连夜看完了彭德怀的“万言书”，他觉得彭德怀反映的情况基本上是符合实际的，彭德怀敢讲真话，敢说实话，是忧国忧民的表现，在第二天的会议上，有人揭发彭德怀的罪行，但洪学智选择了沉默。牛大伟也参加了庐山会议，他主动来找洪学智，向他反映了一些别有用心的人的指控，他们诬陷洪学智和彭德怀沆瀣一气，牛大伟劝洪学智站出来指控彭德怀，否则后果很严重。

洪学智坚决不讲假话，不讲违心的话，一直保持沉默，1959年10月，洪学智被免去总后勤部长的职务，随后离开部队被下放到吉林省农机厅任厅长，他主动让张文拆下领章和帽徽，心里却很不是滋味，