前身原属海勃湾市六五四街道办事处的一部分，该办事处成立于1965年，当时管辖范围还包括拉僧仲街道所辖地域。曾先后属六五四街道办事处和拉僧庙城市人民公社管辖。1981年3月，成立西卓子山街道，辖第一至第五居民委员会。2003年整合撤并后，辖西苑和西祥2个社区。2009年整合为辖祥苑1个社区，直到2021年末，未有变动。巴音陶亥镇赛汉乌素村由西卓子山街道代管。