秦始皇三十二年（前215年）蒙恬将兵三十万，北击匈奴，收复河南地，并设政区管辖。
然嬴秦国祚短促，河南地寻为匈奴夺去。汉元朔二年（前127年）武帝命卫青攘却“胡寇”，重新将河南地夺回，新开朔方郡，改秦九原郡曰五原郡。
元朔四年（前125年）又析上郡、太原郡置西河郡。
汉元朔四年（前125年）置西河郡，《汉书·地理志》载其领县三十有六：富昌、驺虞、鹄泽、平定、美稷、中阳、乐街、徒经、皋狼、大成、广田、圜阴、益阑、平周、鸿门、蔺、宣武、千章、增山、圜阳、广衍、武车、虎猛、离石、谷罗、饶、方利、隰成、临水、土军、西都、平陆、阴山、觬是、博陵、盐官。元封五年（前106年），武帝置十三部刺史监察地方。
《汉书·地理志》将西河郡列属并州条下，然西汉西河郡归朔方刺史部管辖，其由朔方改属并州当在东汉初年朔方刺史部省并之时。
王莽更其名曰归新，十八县因旧名：驺虞，鹄泽，美稷，中阳，皋狼，平周，鸿门，蔺，千章，增山，圜阳，广衍，虎猛，离石，谷罗，土军，平陆，盐官；十八县改新名：富昌改曰富成，平定改曰阴平亭，乐街改曰截虏，徒经改曰廉耻，大成改曰好成，广田改曰广翰，圜阴改曰方阴，益阑改曰香阑，宣武改曰讨貉，武车改曰桓车，饶改曰饶衍，方利改曰广德，隰成改曰慈平亭，临水改曰监水，西都改曰五原亭，阴山改曰山宁，觬是改曰伏觬，博陵改曰助桓。
《续汉书·郡国志》载：“西河郡，武帝置。十三城，离石、平定、美稷、乐街、中阳、皋狼、平周、平陆、益兰、圜阴、蔺、圜阳、广衍。”该十三县皆见载于《汉志》西河郡所领三十六县，《汉志》西河郡所属大成县见于《续汉书·郡国志》朔方郡条下，曰大城。遍检范蔚宗《后汉书》及司马彪《续汉书·郡国志》，未见其余二十二县，王莽所改西河郡诸县亦未见载于《后汉书》。盖东汉初年的政区大调整中，此二十二县已然省并。
前汉西河郡西接匈奴，后汉西河郡则驻有南单于庭与使匈奴中郎将。汉匈交兵，师出西河不绝于史籍记载。二汉西河郡变化实由外族入侵
引发的被迫调整，治所迁徙、辖县省并均是如此。黄河纵贯西河郡，两岸皆可引水灌溉，发展农业。《汉书·食货志》载：“明年，南粤反，西羌侵边。天子为山东不澹，赦天下囚，因南方楼船士二十余万人击粤，发三河以西骑击羌，又数万人度河筑令居。初置张掖、酒泉郡，而上郡、
朔方、西河、河西开田官，斥塞卒六十万人戍田之。”武帝徙关东贫民于陇西、北地、西河、上郡等地之举，正是赖黄河之水灌溉，发展临河诸郡农业，屯垦以御匈奴。且西河郡养马业素称发达，实为汉王朝优良马匹培育基地。
赖其西部直接临敌而北部有朔方、五原、定襄等郡为之外蔽的地理位置，在汉匈民族交往的历史进程中，两汉均于西河郡置属国，以安置匈奴降者。汉宣帝五凤三年（前55年），置西河、北地属国都尉以安置匈奴降者。后汉和帝永元二年（90年），复置西河属国都尉官，以处匈奴降者。东汉建武二十六年（50年），汉庭遣中郎将段彬授南单于玺绶，令其入居边郡云中，始置使匈奴中郎将，将兵卫护匈奴南单于。章怀太子李贤注曰：“中郎将即段郴也；汉官仪曰：‘使匈奴中郎将屯西河美稷县也’。”建武二十六年（50年）冬，汉光武帝复诏南单于内徙西河美稷县，汉使南单于入居美稷，却又派兵屯聚于此。史云卫护南单于，名为卫护，实则监视。
南匈奴的内附，对匈奴历史和汉匈关系皆有广泛而深远的影响。正如林幹先生所言，在一段时间内，“边境无事，汉人得以安居。”南单于向汉称臣以后，确实有过抵御北匈奴南下侵扰的功劳。汉与匈奴不薄，然而南单于实则屡屡制造事端，挑起叛乱，西河郡治所的南移便与匈奴的屡屡进犯关系密切。
东汉一朝，羌乱不绝，持续不断的汉羌战争波及东汉帝国的方方面面。延光元年（122年）虔人种羌与上郡胡反，攻西河郡谷罗城。汉灵帝中平五年（诸如此类不胜枚举。汉羌战争几乎贯穿了整个东汉王朝，后期愈演愈烈，大大地消耗了东汉王朝的国力。
正如《后汉书·西羌传》所言：“自羌叛十余年间，兵连师老，不暂宁息。军旅之费，转运委输，用二百四十余亿，府帑空竭。延及内郡，边民死者不可胜数，并凉二州遂至虚耗。”