1928年4月下旬，蔣介石部國民革命軍第一集團軍4個軍團和馮玉祥部第二集團軍第一方面軍由魯南追擊張宗昌、孫傳芳軍跟蹤入境。
蔣軍第二軍團陳調元部第三十七軍由鄒縣挺進徂徠山南麓，4月20日在樓德、崔家樓全殲張宗昌一個師。第二集團軍席液池部騎兵將張宗昌軍壓縮於大汶口附近地帶。24日，陳軍團經新泰、萊蕪包抄泰山後路。形成對泰安東北的右翼包圍。第二集團軍第一方面軍孫良誠部攻占東阿、平陰等地，形成對泰安西北的左翼包圍。張宗昌在界首部署決戰，第七軍許琨部3萬餘人連同濟南、長清、歷城警察千餘人及青州“旗兵團”扼守界首一帶；第五軍王棟部2萬人扼守泰山東南麓；徐海春旅據守泰城；白俄鐵甲部隊布防鐵路線；白俄騎兵部隊運動於鐵路兩側；孫傳芳軍扼守魚池、道朗至肥城之線。4月26日，蔣軍總攻開始。
泰山東南麓掃蕩戰 4月27日，蔣軍顧祝同部進駐徂徠山以北南上莊、崔家莊、漸汶河、石汶、山口之線。28日進攻黃前，與張宗昌軍激戰於高家園、鏡子峪、小津口、白池、大津口。29日挺進蔡劉溝。蔣軍第一軍第二十二師迂迴泰山西麓，經南北麻套、玉皇廟追擊蔡劉溝張軍。蔣軍第十四師經尹家莊，二十師經窩鋪和柳埠，第三師經大狼窩和黃巢村挺進濟南。
界首爭奪戰 4月27日賀耀祖軍團及繆培南第四軍先後進占粥店、臥牛石、天平店、池子崖、薛家峪至肥城邊境各地，與孫傳芳軍激戰於刀山、谷山、孫家莊、魚池、黑山、甲子峪、蔣家莊、穆英台等地。孫軍全線崩潰。28日，繆培南部猛攻鳳凰台，與張宗昌展開拉鋸戰。29日拂曉，繆部攻占界首，張軍全線崩潰。蔣軍挺進濟南。
泰城包圍戰 4月27日，蔣軍劉峙軍團第一軍、楊勝治第十軍及馮玉祥鐵甲車隊沿津浦線進攻，殲滅張宗昌部白俄鐵甲部隊。28日包圍泰城，占據蒿里山、眼光殿等制高點鳴炮示威。5月1日，蔣介石來泰安火車站督戰。5月2日，張軍徐海春旅投降。蔣軍第一師入城，在岱廟受降張軍2000餘人，唯徐海春潛逃。此役歷時22天，泰安人習稱為“第二次南北軍打仗”。
5月9日，蔣介石命劉峙率第一、第九、第三十三軍，編成5個支隊，控制泰安、肥城、萊蕪一帶，鞏固後方。
