乌桓自从被冒顿打败，部众就孤单弱小，经常向匈奴臣服，每年送去牛、马、羊的皮，超过期限没准备好，妻子孩子经常被抓走。到武帝派骠骑将军霍去病攻取匈奴左部地区，就将乌桓人迁徙到上谷、渔阳、右北平、辽西、辽东五个郡的塞外，为汉侦察匈奴的动静。乌桓部族首领每年向天子朝拜一次，这时候开始设置护乌桓校尉，俸禄为二千石，持天子符节监察统管乌桓，不让乌桓与匈奴往来。

昭帝时，乌桓逐渐强盛，就掘开了匈奴单于的坟墓，以报复对冒顿的仇恨。匈奴人大怒，于是向东击败了乌桓。大将军霍光得知后，就派度辽将军范明友率领两万骑兵从辽东出发拦截匈奴，但敌虏已经退去。范明友趁着乌桓刚刚战败，就进兵攻打乌桓，杀了六千多乌桓人，获得旦担三位侯王的首级回来。自此以后蛊桓又进攻盥姐，总是被明友打败。宣帝的时候，乌桓人才渐渐投降归顺，守保边关。

到王莽篡位时，王莽想进攻匈奴，征调十二部的军队，派束域将严尤统领乌桓、丁令的部队驻守代郡，将他们的妻子孩子全部留在郡县做人质。乌桓人不服水土，害怕长期驻守没有尽头，多次请求让他们走。王莽不肯让他们走，乌桓人就自己逃走反叛，而且反过来抄掠财物，各郡又将乌桓的人质全部杀死，由此乌桓同王莽结下仇恨。匈奴趁机引诱乌桓的酋豪首领担任官员，对其他人都加以笼络使其归附。

光武初期，乌桓与匈奴联合出兵入侵边界，代郡以束的地区受害尤其严重。乌桓人住的地方靠近边界，早晨从毡帐出发，天黑就到了城下。五个郡的老百姓，家家全都受到侵害。造成郡县被毁坏，百姓流离失所。在上谷边塞外的白山乌桓，最为强盛富有。

建武二十一年，朝廷派伏波将军马援率领三千骑兵从五阮关出境袭击乌桓。乌桓事先得知消息，全部相继逃走了，马援追赶，杀了一百多乌桓人回军。乌桓人又尾随马援的后面进攻，结果马援昼夜兼程逃回，等到进入边塞，已死了一千多马匹。

二十二年，匈奴国内动乱，乌桓趁着匈奴衰弱，击败了匈奴，匈奴向北迁移了几千里，沙漠以南的地区全空了，皇帝于是用钱和布帛贿赂乌桓。二十五年，辽西的乌桓首领郝旦等九百二十二人率领部众归服漠，到朝廷朝拜进贡，献上奴婢、牛马、弓箭和虎、豹、貂的皮。

遣时，四方的少数民族都来朝拜庆贺，络绎不绝，天子于是下令举行盛大宴会慰问他们，赏给他们珍宝。有的乌桓人愿意留下来做警卫，皇帝于是封了八十一个乌桓的首领为侯王君长，让他们住在塞内，分布在边境的各郡，要他们招来自己部族的人，给他们衣服粮食，乌桓人于是替汉侦察敌人动静，帮助漠进攻匈奴、鲜卑。

当时司徒掾班彪上奏说：“乌桓人天性轻佻狡猾，喜欢做贼寇，若是长期放纵他们而没有人管辖使其归附聚集，他们必定还会入侵抄掠住在那儿的百姓，仅是交给接受投降者的佐吏负责，恐怕不能控制他们。臣愚意认为最好重新设置乌桓校尉，这对于使乌桓人归附聚集诚然有益处，减少国家对边境的忧虑。”

在上谷的蜜城开始再次设立乌桓校尉，开设武将府，同时统领鲜卑。又赏赐当人质的乌桓人的儿子，每年四季和他们互通贸易。

到明帝、章帝、和帝三代，乌桓人都守保边塞，没发生什么事情。安帝永初三年夏天，渔阳的乌桓人和右北平的胡人有一千多人，进犯代郡、上谷。这年秋天，雁门的乌桓率众王无何，与鲜卑首领丘伦等人以及南匈奴的骨都侯，合起来有七千多骑兵进犯五原，与五原太守在九原的高渠谷交战，汉军大败，郡县官吏遭到杀害。朝廷于是派车骑将军何熙、度辽将军梁懂等人攻打无何，大败无何。无何乞求投降，鲜卑人逃还边塞以外。自此以后乌桓人又逐渐亲近归附汉，朝廷授乌桓的部族首领戎朱魔为亲汉都尉。

顺帝阳嘉四年冬，乌桓入侵云中，拦截路上商人的牛车达一千多辆，度辽将军耿晔率领二千多人追击乌桓人，战况不利，又在沙南交战，消灭了五百人。乌桓人接着在兰池城包围了耿晔，朝廷于是征调二千寻迹而射的士兵和度辽军营的一千士兵，配合上郡的驻守部队，征讨乌桓，乌桓人造才撤退。永和五年，乌桓的部族首领阿坚、羌渠等人和南匈奴左部的句龙吾斯反叛，中部将张耽击败并杀死了他们，其余的人全部投降。桓帝永寿年间，朔方的乌桓人与休着屠各一同反叛，中郎将张奂攻打并平定了敌人。延熹九年的夏天，乌桓又同鲜卑以及南匈奴侵犯沿边的九个郡，他们同时反叛，张奂征讨敌人，他们都出边塞离去。

灵帝初年，上谷有个叫难楼的部族首领，拥有九千多个邑落的部众，辽西有个叫丘力居的首领，拥有五千多个邑落的部众，他们都自称为王。另外，辽东的苏仆延，拥有一千多个邑落的部众，自称为峭王；右北平的乌延，拥有八百多个邑落的部众，自称为汗鲁王：他们都勇猛强健，又有很多的计谋。虫垩四年，原虫山太守强堑反叛，他进了丘力居的部族，自称为弥天安定王，接着当上各郡乌桓人的元帅，入侵抄掠青州、徐州、幽州、冀州四个州。五年，朝廷任命刘虞为幽州牧，刘虞悬赏招募人割下了张纯的脑袋，北方各州这才平定。