原來徐世勣曾是魏公李密手下的左武侯大將軍。武德二年,魏公李密因兵敗王世充而歸附於大唐,徐世勣仍駐守在舊地。
有一天,他對長史郭孝恪說:「現在魏公已經歸附大唐,這裏的人和土地都歸魏公所有,我如果自己上表獻給朝廷,這就是利用主上的失敗,來為自己邀功,以求換取富貴,我視此為恥辱。現在應該把州縣的所有土地和軍人戶口等整理登記造冊,然後全部呈交給魏公,讓魏公自己獻給朝廷,這樣就是魏公的功勞了。」
決定後,徐世勣便派出使者前去給李密送信。使者到後,唐高祖李淵聽說沒有要上表的奏章,反而只有要呈送給李密的信件,因此感到非常奇怪,使者無奈只有如實相告,將徐世勣的真實想法上奏李淵。
李淵聽後,高興的說道:「徐世勣感念恩德推讓功勞,真是位忠純厚道的臣子啊!」於是授徐世勣為黎陽總管,萊國公,不久又加右武侯大將軍,封曹國公,賜姓李氏。