公元前21世紀，商湯十一世祖相土為進一步向東擴張，由商丘遷徙至此。此後，山即為相山、城即為相城。周，相屬宋。戰國時期（公元前286年），齊、楚、魏滅宋，相歸楚國。秦始皇三十三年（公元前224年）在相城和今臨渙鎮分設相縣、縣，同屬泗水郡，相城為郡治所在地。
漢高祖四年（公元前203年）改泗水郡為沛郡，郡治相城。王莽改相縣為吾符亭，沛郡改為吾符郡。東漢建武二十年（公元44年）改沛郡為沛國，國都相城。三國時，相城屬魏，相縣和縣先後屬汝陰郡，歸豫州。西晉太康二年（281年），復置沛國，建都相縣。東晉皇室南渡，相縣先後歸趙、前燕，歸屬屢有更易。南北朝時，相縣先後歸屬宋、北魏、北齊，屬徐州沛郡。天保七年（556年），北齊廢相縣為相城鄉，屬符離縣，縣歸梁時改為臨渙縣，北魏時改為渙北縣，北齊時複稱臨渙縣。
唐朝，市境分屬徐州之蕭縣，宿州之符離縣、臨渙縣、蘄縣。相地漸趨衰落，成為邊遠閒塞之地相城孜。民國元年（1912年），市境分屬安徽省宿縣和江蘇省蕭縣。1948年11月，市境解放。1949年6月，市境分屬華東局皖北行政公署宿縣和蕭縣。1953年2月，市境分屬濉溪縣和蕭縣。
1958年5月開發淮北煤田，成立淮北煤礦籌備處。1960年4月，以蕭縣和濉溪縣部分地區設立濉溪市，由省直轄。1971年4月，更為淮北市（因地處淮河北，與淮南相對，故名）。1977年2月，宿縣地區所轄濉溪縣劃歸淮北市管轄。1981年從蕭縣劃入部分礦區。
1996年，淮北市面積2714平方千米，人口約172萬人，市府駐相山區淮海路。轄相山、烈山、杜集3區和濉溪縣。
2000年第五次人口普查，淮北市常住總人口1878164人，其中，杜集區293910人、相山區299663人、烈山區147622人、濉溪縣1136969人。
2004年8月下旬，淮北市調整了部分鄉鎮行政區劃。濉溪縣撤併3個鄉鎮，同時將其中一個新合併的鎮劃歸市屬烈山區；相山區的一個鎮改設為街道辦事處，同時將濉溪縣的3個自然村劃歸相山區。淮北市鄉鎮數由33個減少到27個、減幅為18.2%，鄉鎮平均人口由原來的4.58萬人增加到5.53萬人；濉溪縣人口由121.2萬減至113.5萬，24個鄉鎮減為20個。2004年底，全市轄15個街道、21個鎮、7個鄉。
2004年末，總面積2725平方千米，佔全省總面積1.95%，其中濉溪縣2399平方千米，市區371平方千米（城區建成區64.2平方千米）。全市有居民家庭575179戶，總人口2093906人。全市農業人口為1284958人，非農業人口為808948人，佔總人口的比重分別為61.4%和38.6%。2004年淮北市共撤併3個鄉鎮，2個鎮改設為街道辦事處，鄉鎮數由2003年的33個下降到28個。調整後，全市有20個鎮、8個鄉、15個街道辦事處。相山區轄渠溝鎮、任圩、三堤口、東山、相山東、相南、相山西、劉橋7個街道辦事處。烈山區轄烈山、宋疃、新蔡3個鎮，臨海童、百善、任樓、前嶺4個街道辦事處。杜集區轄高嶽、朔裡、石臺、段園4鎮，東黎、礦山集、朔裡、袁莊4個街道辦事處。濉溪縣轄濉溪、劉橋、徐樓、百善、古饒、臨渙、祁集、韓村、孫疃、雙堆集10個鎮，鐘樓、趙集、四鋪、五鋪、鐵佛、嶽集、楊柳、陳集、五溝、南坪10個鄉。（本段數據根據《淮北市年鑑》，和上一段有矛盾之處）
2006年3月8日，淮北市公佈區劃調整方案：全市由21個鎮7個鄉15個街道辦事處調整為17個鎮1個鄉14個街道辦事處。 濉溪縣原有20個鄉鎮，根據調整方案：撤銷原陳集鄉，整建制併入雙堆集鎮；撤銷原楊柳鄉，整建制併入孫疃鎮；撤銷原徐樓鎮，整建制併入百善鎮；撤銷原嶽集鄉，整建制併入鐵佛鎮；撤銷原祁集鎮，其中19個村併入臨渙鎮；原祁集鎮的另11個村併入韓村鎮；撤銷原五鋪鄉，整建制併入四鋪鄉。原鐵佛鎮的2個村劃入劉橋鎮。濉溪、南坪、五溝三鎮未作調整。原濉溪縣鐘樓鄉整建制劃入相山區渠溝鎮；濉溪縣原趙集鄉與原古饒鎮合併，成立新的古饒鎮，同時劃入烈山區。 杜集區：將現有4個鎮4個街道辦事處調整為3個鎮2個街道辦事處。撤銷高嶽鎮和東黎、朔裡、袁莊3個街道辦事處。將朔裡街道辦事處併入朔裡鎮；將袁莊街道辦事處併入段園鎮；以原高嶽鎮和東黎街道辦事處的行政區域新設高嶽街道辦事處。 烈山區：除古饒鎮（由濉溪縣）併入外，將原有的3個鎮4個街道辦事處調整為2個鄉鎮，5個街道辦事處。撤銷烈山鎮、新蔡鎮。以原新蔡鎮和原烈山鎮的吳山口村、烈山村、宋莊村、土樓村的行政區域設立新的烈山鎮。以原烈山鎮的洪莊、楊莊、二郎廟、黃橋4個村和楊莊礦等17個居委會新設楊莊街道辦事處。 調整後，全市共有17鎮1鄉14街道，629村143居，其中濉溪縣轄11個鄉鎮。
2010年第六次人口普查，淮北市常住總人口2114276人，其中，杜集區324398人，相山區467358人，烈山區321565人，濉溪縣1000955人。
2014年末，淮北市轄3個市轄區、1個縣，共有17個街道、18個鎮。
