不仅如此，李世民到南郊祭祀，还命他与长孙无忌一起，坐他的御辇。裴寂说使不得使不得，我何德何能，怎么能乘坐陛下的御辇？我没资格。李世民念念不忘的，仍然是他的“佐命之功”：“你有佐命之功，无忌也有大功，有资格与我同乘一车的，只有你们两位！”
可惜，李世民未将这种特殊恩宠进行到底。仅仅过了两年，李世民就让这个大“恩人”尝到了冰火两重天的滋味。
据《旧唐书·裴寂传》，把裴寂从珠穆朗玛峰一脚踢到太平洋的，是一个名叫法雅的和尚。这个和尚，最初以恩宠出入两宫，后来被禁止，于是“法雅怨望，出妖言，伏法”。至于是什么妖言，《旧唐书》却未记载，只是接着说，兵部尚书杜如晦一查，法雅说裴寂“知其言”，裴寂说冤枉啊，我根本不知道他说了什么妖言，法雅却一口咬定他知道。李世民宁愿相信那个妖僧，也不愿相信这个大恩人了。裴寂于是“坐是免官”，食邑被削掉一半，被赶回老家。
裴寂可怜巴巴地请求住在京师，李世民却一声冷笑，讽刺中带着挖苦：“计公勋庸，不至于此，徒以恩泽，特居第一。武德之时，政刑纰缪，官方弛紊，职公之由。但以旧情，不能极法，归扫坟墓，何得复辞？”大意是说，其实你没什么本事，打仗不行，干其他工作也不行。武德时太上皇让你搞搞政法，你也搞得一团糟，导致地方官胡乱施政。你的功劳和才学根本配不上你拥有的地位。你位居第一，其他大臣望尘莫及，完全是拜太上皇所赐。我看在过去的情分上，不想要你老命，而让你回老家颐养天年，你还有什么不满意的？