关于李卫的好武，其他笔记小说也有佐证。如《小仓山房文集》中即说，李卫生来身材魁梧，膀大腰圆，臂力过人，俨然一赳赳武夫(大异于徐峥扮演的形象)，走在街上也很容易辨认，因为李卫脸大如盆，鼻孔中通，不同凡人。不过，李卫虽然武人身材，脸却长得白皙，只可惜是个麻子脸，煞是可惜。李卫自幼喜好习武，公干之余又喜听人说书，每遇不平之事，往往呜咽愤恨乃至拔剑而起。其做官后，曾自募一勇健营，专门练习搏杀之技。每次外出捕盗，李卫都带着勇健营，自己也身披金甲，执铁如意，亲自上阵过瘾。不过，雍正对他的武略颇有些不以为然，某次李卫主动请缨，请求上西北战场冲杀一番，雍正颇为不屑地说，你不是这块料，还是别多事了。
在雍正眼里，李卫优点很多，但也不是没有毛病。其上任云南盐驿道后，第一道奏折刚上，雍正即批示说，你以“少年锋锐之气”，又急于报效，到地方上后一定要谦虚谨慎，不能以气凌人，如在“上司僚友中过于强毅自用”，难免“致招恃恩犯纵之讥”。果不其然，李卫在云南任上与按察使张谦不和，后来更是与贵州威宁总兵石礼哈互相参奏、缠斗不休。而且，李卫还对上司不敬，其私下里呼云贵总督高其倬为“老高”、云南巡抚杨名时为“老杨”。更有甚者，李卫还公然在自己的执事牌子书写“钦用”二字，甚至收受商人馈赠礼物等。为此，雍正特发谕旨批评，说你到云南后“恃能放纵，操守亦不纯”，“川马骨董，俱当检点，又制‘钦用’牌，小人逞志之态，是不可以已乎?尔其谨慎，毋忽!”李卫听后还不服气，辩解说：“受恩重，当不避嫌怨。”雍正矙n馑担�“不避嫌怨”与“使气凌人、骄慢无礼”判然两途，你要加强自己的修养，未来的路才能走得更宽更远，不至辜负我对你的期望。
不过，雍正的教导在李卫面前似乎并没有起到太大的作用。到浙江任后，李卫每次出门都是滥乐齐鸣，前呼后拥，引得众人争相围观。更让人哭笑不得的是，李卫每次弹劾别人，还洋洋得意地将奏章抄写一份向弹劾之人展示，以示“公开公正”。就这样胡闹，雍正仍给予包容，说“李卫之粗率狂纵，人所共知者，何必介意。朕取其操守廉洁，勇敢任事，以挽回瞻顾因循，视国政如膜外之风耳。”
李卫的脾气倔，搞得他的手下脾气也倔。据野史记载，某次李卫让一个叫田芳的幕僚写奏折，请皇上封他家五代。田芳不肯写，说：“请求封典最多三代，从未听说封五代的，我不能写。”李卫说：“你别管，照写就是”。田芳还是不肯写，惹得李卫大怒而痛骂道：“要你写你就写，没有先例，我来创先例，干你何事?”田芳也怒道：“大人你是昏了头，你仗着皇上对你一时的宠爱，把朝廷都不放在眼里了。我好意劝你，你不谢我，竟然还骂我!我就是不服!不服!”李卫说：“你不服，又能怎样?”田芳说：“你是大人，我是小吏，就算是你把我打死，我也不能怎样!只可惜，大人之威，能强加到小人的身上，但小吏之理，还是直于大人!”李卫被他说得一愣一愣的，半晌都没有声音，后笑道：“你小子有点胆识，做个小吏有点可惜了，不如我借你点银子，你去买个县丞当当，以后做上了官，也要像今天那样，正直当官，好好做事。”后来，田芳做了富平县丞和凤翔县令，官声还不错。
颇值一提的是，李卫在浙江期间曾疏浚西湖三十里，并增修庙祠，植桃种柳，将这一带变成了风景区。每到春光盎然之际，李卫即与幕僚们携文案至西湖边办理公务，湖光山色，好不美哉。雍正十年，李卫被召入京，署理刑部尚书，后又被授为直隶总督。雍正十二年，李卫同户部尚书海望一起勘海塘至浙江，时人以为李卫再度抚浙，一路欢声震天。大学士朱轼闻之叹曰：“古人云，观徐、傅言论，不复以学问为长，斯言信矣!”