公元前１１９年，大将军卫青和骠骑将军霍去病奉武帝之命率领重兵大举出征匈奴。李广几次请求随军征战，武帝认为他年纪老了，没有同意。但是李广态度坚决，过了很久，武帝终于批准，任命他为前将军，率领先锋部队。出边塞以后，卫青抓到一个匈奴的侦察兵，知道了匈奴首领单于驻扎的地方。卫青贪功，就亲自率领精锐部队去追击，而把前将军李广改调别的职务，将他合并到右将军赵食其的部队一起，从东路进攻匈奴的左翼。这条路线要迂回和绕远一点，自然较费时间，而卫青率领的大军所走的路线，因水草很少，势必加速前进，无法在中途停留。这样，李广等就很容易落在后面，不能按预定的日期会师。因此，李广向卫青请求，希望他收回成命。李广说：“我的职务本来是前将军，如今大将军你却调我从东路进军去攻匈奴的侧翼。我从少年时期起就和匈奴作战，如今才得到一个机会可以碰到单于的主力，我愿意担任前锋，先同单于决一死战。”卫青从京城出发时，武帝曾暗中吩咐，说李广时运不佳，不要让他当单于的正面，以免影响所要追求的胜利。而这个时候，卫青的好朋友公孙敖自两年前与匈奴作战不力削去了侯爵，这次以中将军的身份随卫青出征。卫青为报答公孙敖曾经救命之恩，也想让他同自己一起去和单于对敌，以便得功恢复他原来合骑侯的爵位，所以坚决要把前将军李广调开。李广当时也知道内情，坚决不接受这项命令。卫青根本不考虑李广的意见，他要长史（相当于秘书长）写好一道公文，并盖印封好，派人送到李广的指挥部。送公文的人说：“大将军有命令，赶紧到右将军的军中去，一切照文书上所说的办。”李广接到公文，很气愤。但这是军令，不能违反，于是，也不向卫青辞行就动身出发了。到达指定的军部，同赵食其合兵向东路出发。在行军途中，由于没有向导，因此走错了路，耽误了同卫青等会师的约期。卫青与单于交战，单于见这次汉军兵多将勇，来势汹汹，就急忙逃跑了。卫青没有能够捉到单于，没有取得什么大的战果，只好收兵而回。在返回的路上，渡过沙漠，遇到了李广和赵食其。李广见过卫青之后，回到自己的军中。卫青派遣手下的官员拿着干粮和酒去送给李广，顺便问一下他们迷路的情况，卫青准备把东路军进军路线迂回辽远而又迷失方向的详细情况上报武帝，但李广不作任何回答和解释。于是，卫青派长史急迫地催促李广指挥部的其他官员赶快到卫青那里去听审。李广说：“他们没有罪，是我不小心迷失了方向，耽误了日程，我现在亲自到你们那里去听候审讯。”