家世勋贵，诸昆弟并尚武艺，而威耽玩文史，介然自守，诸兄哂之，谓为“书痴”。隋内史令李德林举秀异，射策甲科，拜秘书郎。秩满当迁，而固守不调，在秘书十余岁，其学业益广。时诸兄并以军功致仕通显，交结豪贵，宾客盈门，而威职掌闲散。诸兄更谓威曰：“昔孔丘积学成圣，犹狼狈当时，栖迟若此，汝效此道，复欲何求！名位不达，固其宜矣。”
在上层贵族官僚的观念中，有无才气，不是以文艺突出为标准，而尚武习武却是必不可少的。甚至唐初皇室多与武臣联姻。太宗时制定的皇族通婚政策是“王妃、主婿皆取当世勋贵名臣家”[25]。这种倾向自中唐仍很严重，唐宪宗欲嫁爱女岐阳公主时，提到“旧制，选多戚里将家”[26]。以高祖、太宗诸公主所选46位驸马为例，其中11位为武臣，4位出身将门子弟。[27]武勇之强可补才气之弱，皇室观念尚且如此，可见上层社会普遍尚武。
军功大臣受到全社会的普遍尊崇，在政治生活中常显出某种优越性。不仅君王可以原谅其平日微过，如尉迟敬德朝堂不肃、长孙顺德受贿，不会被轻易羞辱，而且对一些功臣的违法之举，常能法外施恩，多有宽宥，甚至有恩诏特恕功臣一死、二死者。军功因此也成为一些功臣自矜的资本。如武德初，刘文静“自以才能干用在裴寂之右，又屡有军功，而位居其下，意甚不平”[28]。侯君集在贞观时自恃战功，“深怀矜伐，耻在房玄龄、李靖之下，虽为吏部尚书，未满其志，非毁时贤，常有不平之语”[29]。尉迟敬德也“负其功”，与宰相较论短长，面折廷辩。“尝侍宴庆善宫，时有班在其上者，敬德怒曰：‘汝有何功，合坐我上？’任城王道宗次其下，因解喻之，敬德勃然，拳殴道宗目，几至眇。”[30]将军邱师利等也是“或自矜其功，或攘袂指天，以手画地”[31]，不可一世。所谓“诸将争功，纷纭不已”[32]。