但彭玉麟竟然毫不心动。人家还来不及跟他道贺，他却决定要辞官。曾国藩劝他不要辞，劝他为家族着想，为君王着想。彭玉麟根本不听，连连摆手：干不了，谢谢。
他真的上疏辞官，一次不行，再辞一次。根本不像官场惯例所做的那样，客套一下，做做样子，显示谦虚的美德，然后就可以美滋滋地赴任了。
他极其认真地陈述了自己辞官的理由。主要有三点：一，自己只读了县学就从军打仗，不懂刑名（法律）与钱谷（经济），缺乏做巡抚的文才，唯恐误国误民；二，从军以来，一直率水师作战，这是自己的长处，当此国家用兵之际，舍水师而做巡抚，将是国家的损失；三，自己的性格比较生硬偏激，不懂圆融变通，出任巡抚恐怕无法做到精深稳健。
两道辞官的奏折递上去后，清廷深受感动，认为彭玉麟所奏确实“真实不欺”。不过，人才难得，清廷并不想轻易“放过”他，于是给曾国藩寄了道谕旨，说彭玉麟随同你作战这么多年，你对他最了解，你说说他到底能不能胜任安徽巡抚一职。
明眼人都看得出，这表面是询问，实际上是要曾国藩再做彭玉麟的思想工作。但任凭曾国藩费尽口舌，彭玉麟就是油盐不进。最后曾国藩也没办法，只能以水师离不开彭玉麟为由，上奏替他辞官。