宋高宗赵构，在1141年四月的时候，把张俊、韩世忠、岳飞三大将领都调离军队，把他们安置在临安枢密院任职。
这次他们被解除军队的职务，也是宋高宗赵构清理军方势力的开始，只不过有的人顺应潮流，有的人被陷害。
岳飞和韩世忠都是主战派，而张俊投入了秦桧的怀抱，在五月的时候，岳飞和张俊巡视韩世忠麾下军队时，张俊暗中挑唆岳飞分化韩世忠的军队，岳飞没有答应，其实这里边的事，跟秦桧有关，借机陷害韩世忠，岳飞马上通知了韩世忠，这样岳飞又一次保全了韩世忠。
岳飞回到了朝廷，遭到秦桧党羽弹劾，兵权被解除，只留了个“万寿观使”的闲差。岳飞还自请回江州赋闲，这时候的岳飞无兵无权，岳家军内部也出了问题，秦桧利用岳飞的手下，以及张俊被秦桧指使，逼迫王贵，王俊等，最后的意思就是最终必须牵连到岳飞，最终以莫须有罪名迫害岳飞！
既然岳飞几次帮助韩世忠，那么岳飞被陷害时，韩世忠在干什么呢？
韩世忠和岳飞同一时间解除的兵权，也是明升暗降，韩世忠看透了秦桧赵构的心思，为了保命，把家里的一百万贯钱财、米九十万石以及酒库十五座，上交朝廷，以求自保。
当时韩世忠赋闲在家，没了实职，听说岳飞入狱后，还专门找到秦桧质问，秦桧以莫须有回答韩世忠，韩世忠听了后，发出了莫须有何以服天下的感叹！
韩世忠看着岳飞被陷害，抗金形式，大势已去，无能为力，赵构又支持主和派，自己还总被以秦桧为首的主和派攻击，心灰意冷告老还乡！
岳飞被害后，岳飞的领导的军队也被支离破碎，其中最牛犇的，号称中国史上最牛的古代精锐部队背巍军，也被赵构迫不及待的整编了，当了“老爷兵”，成了禁军，保护赵构！赵构非常忌惮岳飞的领兵能力，因为赵构的祖宗赵匡胤就是以军队夺的后周，还是害怕岳飞学赵匡胤啊，不怕万一，就怕一万，赵构只能把这种事情消灭在萌芽状态。
岳飞和韩世忠两位主战派的结局就是一死，一告老保命。只能说韩世忠保全了自己，可惜他也没能力救岳飞，无兵无权的他是没办法的，不是韩世忠不救岳飞，而是韩世忠也无能为力，兵权也被解除了，他当时也是自身难保！