显然，从上述史料中可以看出，在江州时，岳飞不但与东林禅寺住持慧海关系密切，而且他还十分留恋那里的佛寺。营葬岳母姚氏时，岳飞即住在东林寺里，高宗下诏起复，并遣臣官邓琮前来传诏，「琮见飞于庐山寺」，其寺很可能是东林寺。

又据徐梦莘《三朝北盟会编》卷一七八＜绍兴七年八月五日＞条云：

岳飞赴行在。初，岳飞解兵往江州庐山，持余服也。累召敦促不肯起，朝延札下宣抚司参议官李若虚、统制王贵同去敦请飞依旧管制，如违，若虚等并行军法。若虚等既至庐山东林寺，见飞，道朝廷之意敦请，飞坚执不肯去。若虚曰：「是欲反耶！此非美事。若坚执不从，朝廷岂不疑宣抚；且宣抚乃河北一农夫耳，受天子之委任，付以兵柄，宣抚，谓可与朝廷相抗乎？宣抚若坚执不从，若虚等受刑而死，何负于宣抚，宣抚心岂不愧？」凡六日，飞乃受诏赴行在。

可见，绍兴七年因淮西军易帅事件，岳飞十分气愤地向高宗辞职离开军队后，其隐居之地在佛寺庐山东林禅寺，所以高宗命李若虚、王贵等「至庐山东林寺，见飞，道朝廷之意敦请。」

绍兴十年（一一四○年），岳飞率岳家军离开江州后，他还特地赋诗寄赠东林禅寺住持、高僧慧海。据《金佗粹编》卷一九＜寄浮图慧海＞云：

湓浦庐山几度秋，长江万折向东流。

男儿立志扶王室，圣主专师灭虏酋。

功业要刊燕石上，归休终伴赤松游。

叮咛寄语东林老，莲社从今着力修。

这是岳飞孙岳珂所编《金佗粹编》所列岳飞七篇诗文之一，是研究岳飞佛学思想的重要资料。从这首诗文内容考察，似乎说明如下几个问题。首先，「男儿立志扶王室，圣主专师灭虏酋。」杀敌报国，仍是岳飞当时主要的任务。其次，「功业要刊燕石上，归休终伴赤松游。」表自己功成隐退、与古寺禅师为伴，在宁静安详中安度晚年的心愿。再次，「叮咛寄语东林老，莲社从今着力修。」岳飞嘱咐东林寺高僧慧海修缮好禅寺，以待将来自己功成名就后再来此共论佛理。可以说，岳飞归隐山林，皈依佛门的思想由来已久。至绍兴十年，他离开江州时与佛教的关系已经无法割断了。