乾隆三年，李卫拜谒泰陵(雍正帝陵)时突发肝病，后请求退职养病，但尚未卸任即病死于任上。据说，李卫死前“声震殿瓦，衙内牛马皆吼应之。同起同止，如是者三昼夜，气乃绝。年五十三。”事后，在直隶总督孙嘉淦的请求下，李卫入直隶名宦祠，后又入了京师贤良祠。后来，乾隆南巡时在西湖花神庙内无意中发现，其中雕像竟然是按李卫及其妻妾所塑，并号“湖山神位”。乾隆为此大为光火，命撤像毁之，并斥责道，李卫“仰借皇考恩眷，任性骄纵，初非阔正纯臣。讬名立庙，甚为可异!”
话说回来，李卫这样非科举出身的人何以会得到重用，主要还是取决于雍正的选材标准。康熙晚年选官，最重官员操守，结果各地官员只顾清廉虚名却不做实事。殊不知，世上这清官、贪官本就难以分辨，一味地追求清官，反而弄出许多弊政。雍正上台后，常说清官如同“木偶”，中看不中用，对社稷民生毫无裨益。因此，雍正用人首在才干，至于什么资格或科举出身之类，倒是其次。恰如李卫的谥号“敏达”，既反映了李卫的为官之道，也反映了雍正的选官标准。也正因为如此，李卫才脱颖而出，成为雍正朝的能臣。生逢其世，恰逢贵人，岂非人生一大幸事?