28军前身为抗日战争时期山东军区所属渤海军区部分部队。渤海军区主力大部挺进东北后，留下的部队组成渤海军区特务第1、第2团，警备第6旅第11团，警备第7旅第13、第14团，警备第8旅第17团。
1946年11月，渤海军区以警6旅第11团、警7旅第14团、警8旅第17团，组成山东解放军第11师。
1947年2月，山东解放军第7、第11师合编为华东野战军第10纵队。第7、第11师依次改称第28、第29师，同时组成纵队特务团。
1949年2月，第10纵队改称中国人民解放军第28军，隶属第三野战军第10兵团，所属各部依次改称第82、83、84师和军炮兵团。
1969年11月，转隶北京军区，换防山西临汾，军部驻临汾，82师驻洪洞，83师驻运城，84师驻侯马。
1985年8月，陆军第28军改编为陆军第28集团军，军部移驻大同，辖步兵第82师、第83、第205师，坦克第7师，炮兵旅、高炮旅，北京军区守备第1旅，28军84师251团团部、28军通信营、69军通信营合并组建28集团军通信团，北京军区第二工区工程兵建筑第112团、28军工兵营、69军工兵营整编为28集团军工兵团，第84师撤编。
1998年9月，第28集团军撤编，第82师缩编为82旅、坦克第7师缩编为装甲旅转隶第63集团军，第83师、通信团、工兵团改编为预备役转隶山西省军区，第205师缩编为旅转隶内蒙古军区，炮兵旅、高炮旅撤编。
2003年11月，第63集团军撤编，82旅、装甲7旅转隶第27集团军建制，205旅撤编（2营编为82旅4营）。
抗日战争和解放战争中，部队先后转战鲁、冀、苏、豫、皖、鄂、沪、浙、赣、闽等九省一市，历经战役战斗数百次，歼敌24万余人，享有“排炮不动、必是十纵”的美誉，涌现出2个英模营、7个英模连、2名特级战斗英雄、15名一级人民英雄、4名一级战斗英雄人、500余名其他英雄模范。
