中国人民解放军第24军的前身是华东野战军第6纵队。该纵队是由华中野战军第6纵队、苏中军区独立旅和新四军第7师第20旅大部合编组成的华中野战军第6师发展而来的。

　　1938年春，主力红军长征后留在湘鄂赣、湘赣边、粤赣边、皖浙赣、湘南等到地区坚持斗争的红军游击队，共2300余人，改编组成新四军第1支队。陈毅任司令员，下辖第1、第2团。3月，第1支队到达皖南歙县岩寺镇集中。5月，陈毅率部东进，展开于以茅山为中心的苏南地区。同年冬，新四军第3支队第6团调至苏南，由第1支队领导。同时，第1团调至皖南归第3支队领导。1939年5月，第6团进至苏州、常熟、太仓之间地区活动，改称江杭第2路军。在茅山地区又组建新的第6团。 1939年11月7日，第1支队领导机关与第2支队领导机关合并为新四军江南指挥部领导机关。1941年3月，江南指挥部第2支队改编组成亲四军第16旅，归新四军第6师建制。1942年12月31日，新四军第2旅旅部率第4团南下与第16旅合并组成新的第16旅。1945年2月5日，第16旅改编为苏浙军区第1纵队，辖第1、第2、第3支队及独立第2、第3团。第1纵队编成后，参加苏浙军区三次反顽战役。8月参加战略反攻，收复溧阳、金坛、句容、溧水等10余座县城。10月，渡过长江向北转移。

　　1945年11月，新四军苏浙军区第1纵队奉命从苏浙皖边北撤至江苏省东台县，改编为新四军华中野战军第6纵队。王必成任司令员，江渭清任政治委员，段焕竞任副司令员，。陈铁君任参谋长，刘文学任政治部主任，下辖5个团，共1.1万余人。纵队成立后，在邵伯、樊川地区扼守京杭运河，保卫苏皖边区首府淮阴。1946年5月，华中野战军第6纵队与苏中军区独立旅合编，组成华中野战军第6师，谭震林任师长兼政治委员，下辖第16、第18旅，共1.4万余人。7月至8月，参加苏中战役，在泰兴、如皋、李堡、丁堰、林梓、分界等地，歼灭国民党军1.5万余人。10月，参加涟水保卫战，给进犯的国民党军整编第74师以重大杀伤，掩护了苏皖解放区后方机关的转移。此时，新四军第7师第20旅大部编入第6师，成立第17旅。12月，参加第二次涟水保卫战。1947年1月上旬，鲁南战役期间，在苏北方向担任阻援。2月上旬，华中野战军第6师改编为华东野战军第6纵队，王必成任司令员，江渭清任政治委员，皮定均任副司令员，陈时夫任副政治委员兼政治部主任，所属第16、第17、第18旅依次改称第16、第17、第18师，共3.5万余人。2月，参加莱芜战役，在攻占和扼守吐丝口战斗中，歼灭国民党军2.2万余人。4月，在泰蒙战役中担任阻援。5月上旬，挺进鲁南作战。中旬，回师北上参加孟良崮战役，会同兄弟部队抢占垛庄，切断国民党军整编第74师退路，封闭合围口，为战役全胜做出了贡献。7月，参加南麻、临朐战役。8月进入鲁西南作战。9月初，南渡黄河，参加沙土集战役。月底，和兄弟部队一起越过陇海路，进军豫皖苏边区，横扫民团、土匪等地方武装，攻克毫县、界首、阜阳、新蔡等城。12月，在平汉、陇海路破击战中，于毫县、鹿邑、太康地区担任阻援。1948年2月，攻占兰考县城，全歼国民党军第119旅，后进至濮阳地区进行新式整军运动。6月，参加豫东战役，先在兰考以东阻援，后参加围歼国民党军区寿年兵团。9月，参加济南战役，在鲁南准备阻援。同年冬，参加淮海战役，先后担任围歼黄百韬兵团和南下蚌埠以北阻援作战任务。

　　1949年2月，根据中央军委关于统一全军编制及部队番号的命令，华东野战军第6纵队改称中国人民解放军第24军，属第三野战军第8兵团建制。王必成任军长，廖海光任政治委员，皮定钧任副军长，赵俊任参谋长，蓝荣玉任政治部主任。第16师改称第70师，陈仁洪任师长，谢立全任师政治委员；第17师改称第71师，梁金华任师长，陈伟达任政治委员；第18师改称第72师，康林任师长，张闯初任师政治委员。全军共3.6万余人。4月参加渡江战役，在安徽境内姚沟至北埂段渡过长江，占领顺安、铜陵、大通等地，并在郎（溪）广（德）地区和兄弟部队一起歼灭国民党军5个军。6月，第70师北上配合兄弟部队解放青岛，第71师南下淮北，归鄂豫皖边区联合剿匪指挥部指挥，进剿大别山地区土匪。8月11日，第72师配合兄弟部队攻占长山列岛。1950年3月，第71师归建。5月，南进浙西、闽北地区，担任修建上饶至福州公路和剿匪任务。1952年7月20日，第71师撤销，第25军师归第24军建制。9月，第24军改归第9兵团指挥，赴朝参加抗美援朝战争。在战斗中涌现也张桃芳、武在元、王玉生、黄宗德、柴育民等许多战斗英雄和英雄集体。1955年10月回国。