过多久，李广又被起用，汉武帝任命他为郎中令。元朔六年，李广被任命为后将军，跟随大将军卫青的军队出兵定襄，讨伐匈奴。许多将领因斩杀敌人的首级符合规定数额，以战功被封侯，唯独李广没有战功。

    两年后，李广以郎中令身份率领四千骑兵，从右北平出发讨伐匈奴。博望侯张骞率领一万骑兵与李广一同出征，分行两条路。走了几百里，突然被匈奴左贤王率领的四万骑兵包围了，手下的士兵都很害怕，李广就令他的儿子李敢骑马冲向匈奴军中。率领几十名骑兵飞驰，直穿匈奴骑兵阵，又从左右两翼突出，向李广报告说：这些匈奴骑兵很容易对付。

    士兵们这才安心。

    李广布成圆形兵阵，面向外准备迎战。匈奴猛攻开始，箭如雨下。汉军也放箭还击。四万匈奴围困四千汉军，汉军一排排倒下。李广用硬弩，专射匈奴将军，很快便有七八个匈奴将军倒下，匈奴骑兵渐渐散开，撤离战场。

    这一战李广四千骑兵，所剩不足一千人。主要原因是博望侯行军迟缓，延误期限，致使李广孤军奋战，才遭此惨败。按军法，博望侯应被判处死刑，博望侯花钱赎罪，降为平民。李广功过相抵没有封赏。

    李广的堂弟李蔡和李广在文帝时入朝为官，景帝时，李蔡已慢慢升迁到年俸二千石的官位。武帝时做到代国国相，元朔五年，李蔡担任轻车将军，跟随大将军卫青攻打匈奴右贤王有功，被封为乐安侯。后又做了丞相。

    李蔡论才干只能算下等，声名比李广差得远了，但却得到了封爵和封地，位居列侯，官至三公。

    而李广威名震天下，在文皇帝、景帝、汉武帝三朝都立有战功，却一辈子没有得到封爵和封地，官位也没有超过九卿。令后人为此事感叹不已。