被重用处理政事。很多事情都不通过丞相决定，丞相石庆只是为人忠厚谨慎罢了。

五利将军栾大整理行装，向东前往海边寻找他的师傅。可到了海边后又不敢入海，就去了泰山祭祀。汉武帝派人跟随查验，实际上栾大什么都没见到。栾大却撒谎说见到了师傅，他的那些方术也大多没有效果，因为欺骗皇帝，被腰斩；乐成侯丁义也被公开斩首。

西羌有十万人反叛，和匈奴互通使者，攻打故安，包围了枹罕。匈奴侵入五原郡，杀死了太守。

元鼎六年（公元前111年 庚午年）

冬天，汉武帝征发十万人，派将军李息、郎中令徐自为去征讨西羌，平定了叛乱。

楼船将军杨仆进入南越境内，先攻陷了寻峡，攻破了石门，挫败了南越的军队锋芒，带领几万人等待伏波将军路博德到来后一起前进，杨仆的楼船军在前面，到达了番禺。南越王赵建德和丞相吕嘉据城坚守。杨仆的军队在城的东南面，路博德的军队在城的西北面。到了傍晚，杨仆的军队打败了南越人，放火烧城。路博德则安营扎寨，派使者招纳投降的人，赐给他们印绶，又让投降的人去招降其他人。杨仆全力进攻并火烧敌军，把敌人驱赶到路博德的营垒中。到了黎明，城中的人都投降了。赵建德和吕嘉在夜里逃到了海上，路博德派人去追捕他们。校尉司马苏弘抓到了赵建德，南越的郎官都稽抓到了吕嘉。戈船将军、下濑将军的军队以及驰义侯征调的夜郎军队还没赶到，南越就已经被平定了。于是汉朝把南越的土地设置为南海、苍梧、郁林、合浦、交趾、九真、日南、珠厓、儋耳九个郡。军队返回后，汉武帝给路博德增加了封邑；封杨仆为将梁侯，苏弘为海常侯，都稽为临蔡侯，南越投降的将领苍梧王赵光等四人也都被封为侯。

公孙卿在黄河南岸等候神灵，说在缑氏城上看到了仙人的足迹。春天，汉武帝亲自到缑氏城去查看仙人足迹，问公孙卿：“你该不会像文成将军、五利将军那样欺骗我吧？”公孙卿说：“仙人不会主动求着人主，是人主要去求仙人。求仙的方法如果不宽容、给足时间，神灵是不会来的。谈论神仙的事好像很荒诞遥远，但积累时间长了，就可以招来仙人。”汉武帝相信了他的话。于是各郡、国纷纷修路，修缮宫观、名山和神祠，盼着汉武帝能去巡视。

为庆祝平定南越，汉武帝祭祀泰一神和后土神，开始使用乐舞来祭祀。

元鼎六年（公元前111年 庚午年）

驰义侯征调南夷的军队，准备去攻打南越。且兰君担心自己的军队远行后，周边的国家会趁机掳掠本国的老弱百姓，就和他的民众一起反叛，杀死了汉朝使者和犍为太守。于是汉朝征发巴、蜀两地本应去攻打南越的有罪之人，组成八校尉的军队，派中郎将郭昌、卫广率领去攻打且兰。他们诛杀了且兰君以及邛君、莋侯，最终平定了南夷地区，并在这里设置了牂柯郡。夜郎侯起初倚仗南越，南越被灭后，夜郎侯就入朝拜见汉武帝，汉武帝封他为夜郎王。冉駹等部落都十分恐惧，请求成为汉朝的臣属并设置官吏，于是汉朝把邛都设为越巂郡，莋都设为沈黎郡，冉駹设为汶山郡，广汉西边的白马设为武都郡。

当初，东越王馀善上书，表示愿意率领八千士兵跟随楼船将军杨仆攻打吕嘉。但军队到达揭扬时，馀善以海上风大浪急为借口，不再前进，采取观望的态度，暗中与南越联系。等到汉朝攻破番禺，他的军队也没到。杨仆上书请求顺便带兵攻打东越，汉武帝考虑到士卒疲惫，没有同意，而是命令各军校屯驻在豫章、梅岭等待命令。馀善听说杨仆请求诛杀自己，而且汉军已经临近边境，于是就反叛了，发兵阻挡汉军的道路，封将军驺力等人为吞汉将军，他们进入白沙、武林、梅岭，杀死了汉朝的三个校尉。当时，汉朝派大农张成、原山州侯齿屯驻当地，他们却不敢进攻，退缩到方便的地方，最后都因为胆小懦弱被汉武帝处死。馀善还自称武帝。

汉武帝想再次让杨仆挂帅出征，因为杨仆居功自傲，就下诏书斥责他说：“将军你的功劳，只有先攻破石门、寻峡这一点，并没有斩杀敌将、拔取敌旗的实际战功，哪里值得骄傲呢！之前攻破番禺时，你把投降的人当作俘虏，挖掘死人当作自己的战果，这是第一个过错；让赵建德、吕嘉能够得到东越的援助，这是第二个过错；士卒们连年在外风餐露宿，将军你却不体谅他们的辛苦，反而请求乘坐驿站的马车巡视边塞，趁机回家。你身佩银印、金印，垂下三条印绶，在乡里炫耀，这是第三个过错；你没有按时到达指定地点，还以道路不好走为借口，这是第四个过错；朕问你蜀刀的价格，你却假装不知道，心怀欺诈来欺瞒君主，这是第五个过错。你接受诏书却没有到兰池宫，第二天也不解释原因。假如是将军你的下属，被询问不回答，被命令不服从，该当何罪？由此推想你在外面，谁还能相信你呢？如今东越深入为敌，将军你能率领众人立功以弥补过错吗？”杨仆十分惶恐，回答说：“我愿意以死赎罪！”于是汉武帝派遣横海将军韩说出句章，渡海从东方进攻；楼船将军杨仆出武林，中尉王温舒出梅岭，让归降的越侯担任戈船将军、下濑将军，出若邪、白沙，一起攻打东越。

博望侯张骞因为打通西域而地位尊贵，他的下属官吏和士兵们争着上书，讲述外国的