久攻不下，损兵折将，促使赵匡胤考虑撤兵事宜。加上这时天气炎热，淫雨连绵，大军驻扎在甘草地上，因为士兵水土不服，很多人拉起了肚子，军中疾病流行，士气低落。还有辽军在第一次增援失败后，再次派出援军，正在陆续赶来，宋军处境不利。见此情形，大常博士李光赞上言：“陛下神明类武，自即位后战无不胜，谋无不克，兵锋所指，势如破竹，过去僭窃帝王之号者，如今有许多已对陛下称臣。区区一座太原孤城，本不需亲劳大驾。重务飞挽，兴师动众，有可能给天下百姓带来沉重负担，引起他们的不满。大宋疆域辽阔，不在乎区区一城，得到它不足为荣，失去它也不足为辱。况且时当炎热，候当暑雨，如果河津泛滥，粮道阻隔，大军乏食，恐怕又将引起皇上焦虑。以臣之见，不如车驾回京，屯兵上党，夏割其麦，秋取其禾，这样既免除了兴师动众之扰，又可以削弱刘氏根基。望陛下三思。”
这番言论，言辞委婉，说理透彻。其实，赵匡胤早已有撤军念头，只是难以开口，这下总算找到了台阶，自然是心中默许。便同赵普商量，赵普对李光赞的话很是赞同。于是，开始谋划班师回朝事宜。
这时，薛化光也上书献策：“凡砍伐树木，必须先去其枝叶，然后取其根底。如今太原外有辽助，内有民贡，恐怕在短时间内难以攻下。如果在太原北石岭山及河北界西山、东静阳村、乐平镇、黄泽关、百井社等地修筑堡垒营寨，阻扼辽朝援兵；同时将太原地区民众赶移到西京、襄州、邓州、唐州、汝州等州，断绝太原的贡赋来源。