乌海地区历史上属于黄河流域旧石器时代“河套文化”及新石器时代仰韶文化的范围。在距今一万年的新石器时代到800年前的西夏时期，一直是北方早期原始氏族和北方游牧民族活跃的重要区域之一。其中在距今4000~800年的时期里，古代游牧民族羌、乌桓、鲜卑、突厥、回鹘（纥）、党项、蒙古等民族都曾先后交替在这里繁衍生息，创造过灿烂的古代文明，也遗留下了他们的生活遗迹与遗存。位于乌海市东南的新石器时代聚落遗址——海勃湾遗址，地表散布有大量器形为石刀、石斧、石磨盘等新石器时代磨制石器遗存。在丛山岩石与沟畔崖壁上他们留下了大批的艺术珍品——岩画。
桌子山岩画群是乌海地区最具代表性的历史遗迹。桌子山位于内蒙古自治区乌海市境内的东部，主峰海拔高度2149.4米，主体呈南北走向，长约75公里。桌子山山势雄伟，峰峦迭起，巍蛾壮观，因其主峰山顶较平坦，远眺貌似桌子状，故得此名。在桌子山脉诸多山沟的悬崖峭壁和沟畔石灰岩磐石上，残存着无数古代岩画的遗迹，称为“桌子山岩画群”。桌子山岩画群总面积有1.6万多平方米，包括召烧沟岩画、雀儿沟岩画、苦菜沟岩画、苏白音沟岩画、小摩尼沟岩画、阿泰沟、摩尔沟岩画等[1]。岩画内容多为太阳神人面像、动物图形、狩猎图、人体图、符号等，每幅岩画单独成画，形态各异，神态各异，真实地反映了我国远古居民的历史、宗教和文化习俗，重现了游牧人的历史面貌，对探索人类文明进程具有极其重要的科学研究价值。桌子山岩画是我国新石器时代晚期北方游牧民族的艺术珍品。这些神奇精美的岩画，磨刻在悬崖峭壁或沟畔磐石上，数量多，分布广，内容丰富，艺术风格古朴。画面多是形态各异、神态各异的人面像和狩猎、舞蹈、动物等图形。尤其独具特色的人面像图形更是堪称中国人面像岩画之精华。2013年，桌子山岩画群被公布为第七批全国重点文物保护单位。
夏时，这里为古羌族后裔羌、氐民族的游牧徙居地。商初，东羌的一支渠搜部落生活在今内蒙古西南的沿河地区。殷商时期，在其周边存在着有三十多个方国，其中较为强大的鬼方、土方等部落就杂居在乌海一带，成为商朝在北方的劲敌。《通鉴外纪》中有“成汤既践天子位，北伐渠搜”，《易经•既济》中也有“武丁伐鬼方三年克之”的记载。其中渠搜、鬼方等所反映的都是涉及到乌海地区的历史内容[2]。《诗经•采薇》曰：“采薇采薇，薇亦作止。曰归曰归，岁亦莫止。靡室靡家，玀狁之故。不遑启居，獮狁之故。”正是揭示了西周至战国这一时期，乌海地区为獯鬻、鬼方、大荔、义渠等戎狄杂居地。这些北方草原民族，先后在这里生息繁衍，上演出了一幕幕威武雄壮的历史话剧。
秦始皇吞灭六国统一中原后，建立中央集权制的封建国家。始皇三十三年（公元前214年），派将军蒙恬率兵30万北击匈奴，略取“河南地”。今天乌海的大部分地区归秦朝所有。为了阻止匈奴南下，秦朝征发劳工，西起临洮（今甘肃岷县），东至辽东(今辽宁东部），修筑了绵延万余里的长城。今天乌海市境内桌子山中便分布有一段秦始皇长城。为更有效防御新得的河南地，秦朝因河为塞，筑四十四县城临河，徙谪戍以充之。今天乌海市海勃湾区的新地古城遗址内秦汉文化特征明显，应是临河四十四县城之一。
秦末战乱，楚汉相争，匈奴乘机向南扩张，再次占领秦朝略取的地方。西汉元朔二年（公元前127年），汉武帝击败匈奴楼烦王、白羊王，收复“河南地”，并且辖境有所扩大,包括今天巴彦淖尔市乌加河以南、鄂尔多斯高原大部分地区，将原有九原郡改为五原郡，又增设朔方郡，郡治在三封县（今巴彦卓尔市磴口县哈腾套海苏木的陶升井，又称麻弥图库庙古城）。朔方郡下设10县，其中的沃野县设置在秦时修筑的新地古城（新地古城遗址）之中。汉代古城遗址位于乌海市北新地乡城梁村的碧野里，有一段长几十米的土墙，据考察这是汉代的古城墙，极有可能是汉武帝沿黄河修建的三十座城池中的一座[3].这里，曾出土过汉代的五铢钱、半两钱以及大量带有纹饰的陶片等，周边有汉代墓葬分布。西汉元狩二年（公元前121年），南匈奴浑邪王附汉后，乌达地区为武威郡之北境。
魏晋南北朝时期，活动在北方草原的少数民族匈奴、鲜卑、羯、氐、羌，号称“五胡”，南下中原，移居黄河流域。他们彼此争战，或与中原王朝争夺，形成长时间的战乱局面。魏晋时，今乌达地区为西部鲜卑所据，南北朝时为前凉、后凉、北凉所割据。
东晋大兴二年（319年），羯族石勒强盛，尽得黄河流域中、下游广阔地区，建立后赵。今海勃湾、海南区属后赵之朔州朔方郡。
前秦建元二年（366年），后赵被前秦、前燕取代，黄河以西归前秦，为氐族苻坚所统治。海勃湾地区属前秦朔方郡。后秦皇初二年（395年），羌族姚兴部兴起，夺得前秦西部地区，称为后秦。姚兴在北部广阔地区设朔方郡，辖今海勃湾、海南区。
东晋太元十六年（391年），魏王拓跋魏攻打朔方郡的铁弗部刘卫辰。卫辰部败散，辖地归属拓跋魏。
东晋义熙三年（407年），匈奴铁弗部首领赫连勃勃强盛，在今伊克昭盟、陕西北部地区建立大夏，建都于统万城（今陕西靖边县北，俗称白城子），辖地曾北达黄河，置幽州于大城（今伊盟杭锦旗东南），占有今巴彦淖尔南部、鄂尔多斯高原。夏胜光四年（431年），大夏灭于北魏，辖地归北魏。
隋时，乌海海勃湾和海南区属突厥汗庭之西境，为东突厥游牧地。唐时，改隋灵武郡为灵州，管辖黄河由南向北的东岸狭长地带，包括今鄂托克旗西部、鄂托克前旗西部及乌海海勃湾、海南区。乌达地区在隋时属甘州，治所在永平（隋改名张掖，今甘肃张掖）。隋仁寿二年（602年），属肃州，治所在福禄（今甘肃酒泉）。8世纪安史之乱后期至9世纪中叶曾属吐蕃。
唐末，兴起于西北的党项族趁中原混乱之际，占据银、夏、绥、宥、静五州之地，乌海地区成为党项人的游牧地。宋太祖建隆元年（960年），北宋加党项李彝兴以太尉的封号，李彝兴向宋贡马三百匹，以示归顺。乌海地区归人宋朝版图，但仍为党项所有。1038年，党项李元昊称帝，建立西夏，形成与宋、辽三足鼎立的政权。今乌海海勃湾、海南区为西夏灵州之地，乌达地区为西夏贺兰山防区。
13世纪初，游牧在蒙古草原的蒙古部日趋强盛。1206年，铁木真在斡难河源举纛建国，号“成吉思汗”，国号“大蒙古国”。1227年，成吉思汗灭西夏，其版图尽归大蒙古国。1271年，忽必烈改国号为“大元”，建立元朝。元朝在全国设置一个中书省、十个行中书省，省下设路、府、州、县。其时，乌海地区归宁夏行省中兴路管辖。至元二十五年（1288年）改中兴路为宁夏路，治所在今银川市。
明时，乌海处于明蒙边界之上，一部分归明朝管辖，一部分为蒙古游牧地。乌达地区为甘州、肃州二卫的边外地。明洪武九年（1376年），设置宁夏卫，后升为镇，辖今乌海海勃湾区和海南区，隶属于陕西都司。成化之后，河套蒙古兴起，明朝在西北地区的版图仅限于长城以内，长城以外俱为河套蒙古诸部所有。至今乌海仍保留数坐明代烽火台。明嘉靖中期，达延汗之孙衮弼里克墨尔根承袭济农爵位，名其部落为鄂尔多斯，辖有今天乌海大部分地区。
清天聪九年（1635年），鄂尔多斯部首领额瞵臣归附清朝，仍统领其地。清顺治六年（1649年），清廷将鄂尔多斯地区划为6旗，实行盟旗制度。乌海海勃湾区和海南区为鄂尔多斯右翼中旗（鄂托克旗）之西北境。清康熙三十六年（1697年），始设阿拉善和硕特旗，辖有今乌海乌达区。坐落在乌海市海南区拉僧庙镇图海山上的满巴拉僧庙，始建于乾隆五十五年（1790年）,由第一代贝勒东日布斯仁捐赠，第一世夏仲（活佛）贡期格阿日布斋主持兴建，已有235年历史。寺庙建成后，以研究医明教义培养医务人才为目的，学僧们进庙后，经义双修。寺内有大雄宝殿药师供塔、护法殿、溶洞等，现已开发为旅游景点。
民国时期，乌达地区属阿拉善和硕特旗管辖，海勃湾地区属鄂托克旗管辖。1928年，乌达地区随阿拉善和硕特旗归宁夏省管辖。1930年，海勃湾地区改归绥远省沃野管辖，后复归鄂托克旗管辖。1949年，解放军进人西北蒙地，鄂托克旗和阿拉善和硕特旗相继和平解放，海勃湾地区和乌达地区随之解放。新中国成立后，于1951年建立地方国营阿拉善旗乌达煤矿。1953年建立地方国营鄂托克旗煤矿。1955年建立桌子山矿区办事处、隶伊克昭盟。1958年建立阿拉善旗乌达镇、隶巴彦淖尔盟。1961年经国务院批准成立乌达镇隶巴彦淖尔盟，成立海勃湾市隶伊克昭盟。1976年经国务院批准乌达市与海勃湾市合并，建立乌海市，为内蒙古自治区直辖市。