王昭君嫁过去几年后，呼韩邪病故。按照匈奴的风俗，呼韩邪的儿子娶了王昭君。王昭君前后在匈奴待了40多年。这期间，匈奴安定政治，发展经济，休养生息。俗话说“一曲琵琶好，五十年不打仗”，就是这段故事了。

呼韩邪死后，其后代继续与汉朝保持着和平友好关系，直到公元1年。

王莽上台后，违背与匈奴的约定，派陈饶到匈奴更换印信，把“匈奴单于玺”索回，改发“新匈奴单于章”。从“玺”变成“章”，这就等于降低了匈奴的政治地位。匈奴当然不愿低人一等，要求换回旧印，可陈饶当场把印摔碎，匈奴单于大怒。

就这样，汉匈几十年和睦共处的局面被王莽所破坏，直到东汉初期双方的关系仍没有得到改善。

刘秀统一中国后，匈奴暗地里支持反对刘秀的彭宠和卢芳，一起向南侵扰。而此时东汉军事力量比较薄弱，只能采取消极防御的策略。刘秀一方面派遣使者到匈奴赠送金币，一方面以守边塞为主，四处防范。东汉政权受到严重威胁。

正在这时，匈奴遇到连年的旱蝗，人畜死耗很大。东面的乌桓乘机进击，迫使匈奴北徙。接着，匈奴内部又发生内讧。本来就只剩下一半的匈奴，又分裂成两半，南边归附东汉，北边继续与东汉对抗。

南匈奴在东汉的支持下稳定下来，渐渐融合于汉族之中。北匈奴受到南匈奴、鲜卑、乌桓的攻击。到公元87年，北匈奴28万人归顺大汉后，剩下的人就更少了。

和帝刘肇继位后，认为这正是征伐匈奴最好的时机，就命窦宪大举进军。汉军大获全胜。和东西两汉斗了300年的匈奴，战败后离开了蒙古高原，向西远徙，从此没落。

自秦以来，和匈奴的关系由战争到和亲，从敌对到友好，以及由破裂再到侵扰，这种曲折、迂回反复变化的过程，是双方实力强弱和统治阶级的态度所致。在此过程中，间接促进了汉匈两族的经济往来和文化交流，加快了彼此融合的步伐。并且大汉与周边民族间的频繁接触和往来，对东亚世界的形成，同样具有极为重要的历史意义。