1947年8月之前組成的東北野戰軍9個縱隊中，除8縱、9縱是由冀察熱遼軍區整體劃撥過來外，其他7個縱隊中，1縱、3縱、4縱、6縱等主力部隊均是以山東部隊為主或完全由山東部隊編成的。
第1縱隊(38軍)是1946年8月由原山東1、2師和濱海支隊等部編成。
縱隊司令：李天佑
1縱第1師由山東1師改成
1縱第2師由山東2師改成
1縱3師由原山東濱海支隊和後來發展的19旅組成的。
第3縱隊(40軍)是1946年初由原山東3師、警備3旅和原冀東十六分區曾克林部隊編成的。
縱隊司令：韓先楚
3縱7師由山東3師與曾克林部兩個團組編而成。
3縱8師以山東3師9團為基礎，與曾克林部兩個團及一個新編地方團組建，
3縱9師由山東警備3旅與曾克林部合編而成，
第4縱隊(41軍)由進入東北的原山東6師發展而來，1946年初編成。
縱隊司令：吳克華
4縱10師以山東6師兩個團為基礎擴編而成，
4縱11師以山東膠東軍區兩個獨立團為基礎擴編而成，
4縱12師以山東6師一個團為基礎擴編而成
第6縱隊(43軍)以原山東7師、8師為主，陸續編入冀東19旅、新四軍3師7旅，於1946年10月成軍。
縱隊司令：洪學智
6縱16師由新四軍3師7旅編成。
6縱17師由山東7師編成
6縱18師由山東八師編成
1948年組建的3個縱隊中，5縱(42軍)和12縱(49軍)的35師是以山東部隊為基礎發展起來的。
第5縱隊於1948年2月由南滿三個獨立師改編組建而成。
縱隊司令：萬毅
5縱13師由山東軍區膠東部隊進入東北後擴軍而成。
5縱14師是以膠東軍區一個團為主，與冀東干部在通化地區發展的一個團合編後發展而來，
5縱15師也是在山東部隊基礎上發展起來的，先是以山東部隊為主成立安東軍區保安部隊，後改為遼東獨立3師，於1948年編入5縱。
12縱35師是1945年底山東北海軍分區的一個團抵達東北後組建遼東軍區第二支隊，後轉入北滿逐漸發展而成。
東北野戰軍36個師的編制序列中，有15個師是全部由原山東部隊或以原山東部隊為主組建而成。而在東北軍區列出的5個主力軍、7個頭等主力師和2個主力師中，原山東部隊或山東基礎的部隊擁有4個主力軍，5個頭等主力師和1個主力師。
