亭尉说：“就是现任将军尚且不能夜间通过，何况是前任将军！”于是就扣留了李广等人，留宿霸陵亭下。
过了不久，匈奴攻入辽西，击败了屯兵渔阳的韩安国。于是皇帝召李广，封他为右北平太守。李广随即请求武帝，准许派遣霸陵亭尉一同前去。到了军中李广就把亭尉杀了，然后向皇帝上书谢罪。皇帝回报说：“将军，是国家的爪牙
《司马法》讲：登车不抚车前横木以礼敬人，遇到丧事不根据亲疏关系穿规定的丧服，振兵兴师去征伐不顺服的人，出征时，要统率三军之心，协同战士之力，这样才能做到一怒千里惊惧，威振则万物归顺，是以名声显露于夷貉，神威使邻国畏惧。
报仇除害这是我期望于将军的，您若叩头请罪，这岂是我所指望的!”看来皇帝并没有因此而责备李广，倒欣赏他的这种做法。但这件事也从一个侧面反映出李广心胸的狭窄。
同样是同时代的御史大夫韩安国，他坐牢的时，狱吏田甲辱安国。韩安国说：“你就不怕我死灰复燃？”田甲此人很幽默：“你复燃，我当洒尿灭之。”后韩安国被拜为梁内史。
田甲知后，逃走。韩安国更幽默说：“不逃走就不杀，如果逃走，就灭其九族。”田甲不敢走，向韩安国认罪。韩安国笑着说：“你给我洒泡尿看看。”韩安国不仅放走了田甲，而且还善待了他。这就是韩安国一种大人不计小人过的气度。但李广却做不到。
李广任右北平太守后，匈奴畏惧，避之，数年不敢入侵右北平。李广出猎，看到草丛中的一块石头，以为是老虎，张弓而射，一射箭去把整个箭头都射进了石头里。仔细看去，原来是石头，再射，就怎么也射不进石头里去了。李广一听说哪儿出现老虎，他就常常要亲自去射杀，居守右北平时一次射虎，恶虎扑伤了李广，李广带伤也终竟射死了这只虎。
李广为将廉洁，常把自己的赏赐分给部下，与士兵同吃同饮。他做了四十多年俸禄二千石的官，家里没有多少多馀的财物，始终不谈购置家产的事，深得官兵爱戴。
李广身材高大，臂长如猿，有善射天赋，他的子孙和他人李广学射箭，但都不及李广。李广不善言辞，与人闭居时亦以射箭来赌酒为乐，一生都以射箭为消遣。
李广爱兵如子，凡事能身先士卒。行军遇到缺水断食之时，见水，见食，士兵不全喝到水，他不近水边；士兵不全吃遍，他不尝饭食。对士兵宽缓不苛，这就使得士兵甘愿为他出死力。
李广射杀敌人时，要求自己箭无虚发，所以非在数十步之内不射，常常是箭一离弦，敌人应声而亡。也由此多次被敌人围追，射猛兽时也由于距离太近而几次受伤。不久，郎中令石建死，李广被任命为郎中令，“郎中令”是掌管宫殿门户的官，但实际权力很大，是皇帝禁内的主要职能官员。
元朔六年（公元前123年），李广再为后将军，跟从大将军卫青的军队出定襄，击匈奴。诸将大多因立功而被封侯，而李广军无功而还。
公元前121年，李广以郎中令身份率四千骑兵从右北平出塞，与博望侯张骞的部队一起出征匈奴。李广部队前进了数百里，突然被匈奴左贤王带领的四万名骑兵包围。李广的士兵们都非常害怕，李广就派自己的儿子李敢先入敌阵探察敌情。
李敢率几十名骑兵，冲人敌阵，直贯匈奴的重围，抄出敌人的两翼而回。回来后向李广报告说：“匈奴兵很容易对付。”李广的军士听了才安定下来。李广布成圆形阵势面向四外抗敌。
匈奴猛攻汉军，箭如雨下，汉兵死伤过半，箭也快射光了。李广就命令士兵把弓拉满，不要发射，他手持强弩“大黄”射杀匈奴裨（副）将多人，匈奴兵将大为惊恐，渐渐散开。
这时天色已晚，汉官兵都吓得面无人色，但李广却意气自如，更加致力于整饬军队。军中官兵从此都非常佩服李广的勇气。
第二天，他又和敌兵奋战，这时博望侯张骞的救兵才赶到，解了匈奴之围。李广的军队几乎全军复没，李广功过相抵，没有得到赏赐。博望侯张骞延误行程，当斩，后用钱赎罪，成为平民。
李广前后与匈奴作战四十多年，却始终得不到封侯，当年同他一起为汉中郎的堂弟李蔡，“蔡为人在下中”，“下中”，即《汉书古今人物表》之第八等，下等之中。名声也远在李广之下，景帝时，李蔡积功劳至二千石。
元朔五年为轻车将军，后封为乐安侯，元狩二年中，代公孙弘为丞相，位至三公。李广的许多部下也被封侯，而李广却未得爵邑，官职也没有超过九卿。一次李广与望气算命的王朔交谈，说：“自击匈奴而广未尝不在其中，而诸部校尉以下，才能不及中人，然以击胡军功取侯者数十人，而广不为后人，然无尺寸之功以得封邑者，何也？岂吾相不当侯邪？且固命也？”(《史记·李将军列传》)王朔说：“将军想想难道做过什么可悔恨的事情么?”
李广想想说：“我为陇西太守时，羌族人造反，我引诱他们投降，来降的有八百多人，在他们投降的当天我就杀了他们。至今最大的悔恨只有这事。”王朔说：“罪过没有比杀已降的人更大了。这就是你不得封的原因了。”
元狩四年（前119年），大将军卫青与骠骑将军霍去病深入漠北打击匈奴。李广多次请求随军出征，武帝认为他年老未被启用。直到元狩四年才被任命为前将军，随卫青出征。
出塞，卫青得知单于的驻扎地，卫青决定自率部队正面袭击单于，而命前将军李广与右将军赵食其从东路夹击。东路道迂回且远，水草极少，不利于行军。
李广希望做为先锋正面对抗单于，说：“臣部为前将军，今大将军乃徙令臣出东道，且臣结发而与匈奴战，今乃一得当单于，臣愿居前，先死单于。”