中国人民解放军第十军的前身是中原野战军第二纵队。该纵队是由晋冀鲁豫军区所属冀南军区发展而来。

　　冀南军区最早成立于1938年4月，由八路军第129师东进纵队兼，辖第一至第五军分区，辖区在河北省石家庄、山东省德州、聊城、和河南安阳之间，12月，东进纵队和冀南军区分开。

　　1940年6月，冀南军区进行整编，辖新编第4、第7、第8、第9旅和第一至第五军分区，后增编第6、第7军分区。同年下半年，冀南军区所属部队参加"百团大战"。从1941年起，军区部队进行反"扫荡"、反"蚕食"、反"清剿"斗争。

　　1942年，新编第7、第8、第9旅先后并入第六、第三、第四军分区，所属部队归各军分区领导。 1943年10月，军区直属八路军总部指挥。

　　1944年5月，冀南军区与冀鲁豫军区合并为新的冀鲁豫军区，但仍保留冀南军区的番号。6月，成立冀南指挥部。为了参加豫北战役，冀南指挥部将所属部分部队编成平汉纵队。9月7日，平汉纵队改为冀南纵队，奉命西进参加上党战役。陈再道任司令员，杜义德为副司令员。

　　1945年10月，正式恢复冀南军区，辖第7至第11军分区和独立第4旅。晋冀鲁豫军区为应付国民党军对解放区的进攻，将所属冀南军区主力部队孔（庆德）秦（基伟）支队、雷（绍康）、寇（庆延）支队、杜（义德）支队编成冀南纵队。11月，根据中共中央关于超地方性正规兵团的指示，将冀南纵队编为晋冀鲁豫军区第2纵队，陈再道任司令员，宋任穷任政治委员，辖第4、第5、第6三个旅及独立团，共1.4万人。

　　1946年7月，第2纵队与冀南军区合并，仍保留第2纵队建制，陈再道任司令员，王从吾任政治委员，王蕴瑞任参谋长。从1946年8月到1947年5月，为粉碎国民党军对解放区的全面进攻，第2纵队在冀鲁豫区担任内线作战，先后参加定陶战役、滑县战役、豫北战役等，歼敌1.6万余人。

　　1947年6月底，第2纵队与冀南军区分开，归晋冀鲁豫野战军建制，随刘邓大军主力参加鲁西南战役，沿陇海路南下，向大别山进军。8月28日，进至大别山北麓。1948年3月初，北渡淮河转向豫西南进行外线作战。

　　1948年5月9日，晋冀鲁豫军区第2纵队改称中原野战军第 2纵队，司令员陈再道，政治委员王维刚，参谋长王蕴瑞，下辖第4、第6旅。第 5旅归鄂豫军区建制。该纵队随后参加宛西、宛东战役。11月至12月参加淮海战役。

　　1949年2月，根据中共中央军委关于全军编制和部队番号的决定，第2纵队改编为中国人民解放军第10军，隶属第二野战军第三兵团建制，由兵团副司令员杜义德兼第10军军长。王维刚任政治委员，高厚良任参谋长，共1.95万余人。第4旅改称第28师，陈中民任师长，姚克佑任政治委员；第6旅改称第29师，周发田任师长，于笑虹任政治委员。

　　4月21日，第10军参加渡江战役，担负封锁、维护长江沿岸交通，保证主力渡江作战任务。6月，以皖北独力师为基础，组建第30师，列入第10军建制。此时第10军兵力达3.5万余人。

　　渡江战役后，经休整、补充，8月下旬，第10军由安庆地区出发，经河南、湖北、湖南，向贵州、四川挺进，参加解放大西南作战。10月初从湘西集结地桃源出发，与友军突破国民党黔东防线，攻占黔北重镇遵义。继奔袭川南，强渡长江，西渡岷江，参加围歼胡宗南集团的成都战役，解放川黔两省的凤凰、自贡、内江等29座县城。

　　1950年2月，第10军全部到达川南，兼川南军区，下辖内江、宜宾、乐山、泸县等四个军分区及自贡警备司令部。杜义德任川南军区司令员，李大章、彭涛、王维刚任政治委员。第28师兼宜宾军分区，第 29师兼内江军分区，第30师兼乐山军分区。川南军区组建后，即进行剿匪和政权建设。

　　1951年2月，第10军与川南军区分开，同时第29师调归第15军建制，第62军第184师调归第10军建制。

　　1952年4月25日，第10军军部和第30师调归海军，第28师调归第23兵团，第184师调归装甲兵和华北军区，该军番号撤销。