朱翊钧已经看完了薄薄的明穆宗实录，他对高拱的政绩是不认可的。
隆庆元年，以高拱为首的晋党和以徐阶为首的徐党，在朝中进行了激烈的党争和倾轧，高拱被抓到了把柄，最后在隆庆元年五月，被言官给弹劾倒台，被迫致仕回乡。
高拱之所以倒台，和隆庆元年的胡应嘉案有关。
隆庆皇帝刚刚登基的第一年，考察庶官，吏部尚书杨博，负责考察京官，贬斥言官郑钦、胡惟新，吏科给事中胡应嘉对杨博发出了质询：为何在正月的考核里，山西人无考核下等者？弹劾杨博考察官吏不公，上下其手，营私舞弊。
高拱认为胡应嘉是党同妄奏，拟旨斥为民，这一下子引起了言官们的激烈反弹。
五个月内，广东道试御史齐康、南京吏科给事中岑用宾、湖广道御史尹校、兵科都给事中欧阳一敬、南京广东道御史李复聘、工科给事中李贞元等等数十人接连上奏弹劾，高拱只能反复上奏请求致仕。
隆庆元年五月，高拱致仕回乡。
高拱之所以倒台，是因为吏部尚书杨博，曲庇乡里、包庇山西籍贯的官吏，以私愤谪诸官，党同排异，高拱回护。
高拱被骂为国之巨蠹，大明朝的蔡京，在政斗中，耻辱的离开了京堂。
这是在政斗的方面，高拱的狗斗术远不如徐阶，更遑论张居正了，张居正活着的时候，这些文官谁能斗得过张居正？
徐阶最后也被掀翻了，罪名是尸位素餐奉职无状，嘉靖年间，皇帝事神仙土木，而徐阶作为辅臣，不能责难陈善也就罢了，还多数赞同，还让儿子徐璠主持永寿宫之事；徐阶和严嵩缔交连姻，徐阶更是十五年时间内，无一言相忤严嵩，等到严嵩倒台徐阶立刻攻讦，为人臣不忠、与人交不信。
最重要的是，胡宗宪瘐死案，让徐阶太被动了。
隆庆二年七月，徐阶致仕回乡，离开了朝堂。
隆庆二年八月，张居正上万言书，条陈六事振奋朝纲，这道奏疏就是张居正赫赫有名的陈六事疏，针对国朝种种弊病，提出了具体的方案和解决办法。
隆庆皇帝面对冗长的陈六事疏，下章六部复议，最后复议的结果是，都察院、兵部、户部、吏部全都反对，最终隆庆皇帝批复了一句，知道了。
隆庆三年十二月首辅李春芳、张居正等请命复启用高拱，高拱入阁掌吏部事儿，开始了高拱当国的时间。
这段时间，其实高拱办了一件大