就因为这句话，张巡失去了难得的留任京官的机会，再度被外放，出任真源（今河南鹿邑县东）县令。
安史之乱爆发后，张巡的顶头上司、谯郡（今安徽亳州市）太守杨万石投降了安禄山，逼迫张巡也跟他一起投降。张巡愤而起兵，率领本县吏民数千人，毅然揭起了反抗安禄山的大旗。
当时，附近的雍丘（今河南杞县）县令令狐潮准备投降，遭到当地官吏和百姓的反对，令狐潮大怒，逮捕了一百多名反抗者。不久燕军来攻，令狐潮出城迎降，被他关押的吏民趁机逃出监狱，然后关闭城门，抵拒令狐潮，并派人邀请附近的张巡帮他们守城。
天宝十五载二月，张巡进入雍丘，斩杀了令狐潮的妻子儿女，随即加紧修筑防御工事。数日后，令狐潮引燕军来攻城，被张巡击退。三月初，令狐潮又会同燕将李怀仙、杨朝宗等人率四万大军，突然进抵雍丘城下。守军大为恐惧，人心动摇。张巡对守城将士说：“此次来攻的叛军乃精锐之师，必然有轻我之心。倘若我们利用这一点，出其不意，发动突袭，敌人必定溃退。只有让其兵锋受挫，这个城池才守得住。”
随后，张巡派一千人登城防守，同时亲率一千人，分成数队，突然冲出。张巡身先士卒，直扑燕军阵营。燕军猝不及防，被砍杀了一大片，只好暂时后撤。
次日，燕军再度攻城，出动了一百架大型投石机，把雍丘城团团包围，然后万石俱发，片刻后便将城楼和雉堞轰毁无遗。紧接着，敌军就像蚂蚁一样纷纷攀上了城墙。