吕梁山脉位于山西省中西部，由北而南包括管涔山、黑驼山、芦芽山、云中山、关帝山、起云山、紫荆山、五鹿山、天高山、龙门山，向西南伸入陕西省境内，大体呈东北走向，在本省境内长约400余公里，宽约40～120公里。根据山地形态特征，吕梁山脉可分为三段：北段山势高峻，海拔2000～2500米，为高中山地。此段山脉分为东、西两列，东为云中山，西为管涔山和芦芽山，两列之间夹有静乐盆地。山顶残留“北台期”夷平面，黄草梁、荷叶坪均系剥蚀夷平面，是天然的夏季牧场。芦芽山系本省最好的林区。中段关帝山是吕梁山脉最高山段，主峰关帝山海拔2830米，山高林密，为本省主要林区之一。南段山势渐低，海拔1500米左右。吕梁山末端的龙门山，近东西走向，被黄河穿切，形成举世闻名的落差10余米的壶口瀑布及峡谷。
构造上吕梁山为一复背斜褶皱断块山地，山体以太古界、元古界变质岩为基础，上覆古生界石灰岩地层，大部分山区覆盖着黄土，具有不对称特点。东坡大部以断层与盆地相接，高出盆地700～1500米，陡峭雄伟。西坡徐缓，它是黄河与汾河、滹沱河、桑干河的分水岭。