鉴真在实现东渡计划的过程中，最初想像到的困难，还只在旅途方面。日本在当时还是一个隔着大海的遥远国家。太平洋上季节性的大风还不是当时的航海技术所能充分控制。“百无一至”一语虽属夸大，但也说明海洋在当时的交通上仍然是不小的阻力。鉴真的五次失败中，也的确有两次是为海上风涛所造成。七四三年，紧接着第一次失败之后，他组织了规模极大的第二次东渡，一出扬子江口，就一再遭到飓风的袭击，船只被毁，物资尽失，仅仅留得生命。更为惨重的是他第五次的失败（七四八年，天宝七载），那一次他顺江入海，遇到特大的风浪，几个月海上飘流，备历艰苦，最后飘到海南岛南端的振州（今崖县），展转渡过雷州海峡，取道广西、广东、江西返回扬州。在长途流离当中，他的得力助手日僧荣睿死于端州（广东高要），弟子祥彦死于吉州（江西吉安））。鉴真本人也因辛苦跋涉，暑热染病，以致双目失明。不难想像，这对于一位六十一岁的老人是何等沉重的打击。但鉴真依然并不消沉，五年之后，他又作第六次东渡的壮举，多年愿望，最后终于达成。其毅力之卓绝实在令人惊叹。

鉴真弘法事业遭受的挫折，两次来自海上的风浪，而三次来自社会的阻力，这些人为的打击，较之自然的障碍，甚至更为复杂，更为突然。鉴真第一次东渡碰到的就是人事纠纷。七四三年，当他准备就绪，首途在即的时候，他的随行弟子道航对另一随行弟子如海的学力问题提出非难。如海气愤之余，竟向官府诬告道航等图谋入海勾结海寇。官府下令搜捕，没收了船只粮食。后来问题虽然弄清，而东渡计划却被破坏。第二年，鉴真于第二次东渡舟覆遇救之后，往来浙东一带，一面授戒传律，一面积极筹备第三次东行。忽有当地僧人向官府控告日曾荣睿引诱鉴真远赴日本，请求阻止。荣睿弄得鎯铛入狱，还要送京治罪。因为生病，才申请得释。东渡计划又受波折。荣睿的蒙冤更坚定了鉴真的决心。为了避开官府的阻挠，他改变办法，先派人到福州准备船粮，自己率领弟子随从，由浙东步行，翻山越岭，前往取齐。这一次却是他在扬州的弟子灵祐，由于不愿本师远适异国，又向官府请求遮留。官府下牒诸州追踪拦截，沿途寺院均受牵累。终于在黄岩县地方截住了鉴真一行，送回扬州。在这第四次失败中，鉴真自己也丧失了自由。

这些人事上的阻挠，有的出于意气之争（如如海的诬控），有的出于恋师之情（如灵祐的告密）。表面看来，似乎都是些偶然的私人事件。但是一加分析，我们就会发现，它们背后还有一种每个历史时期都不免会出现的阻碍前进的消极因素在起着作用。时代已经进入了新的阶段，提出了新的要求，而人们在一定时期内总是不能理解，不能认识。越州的僧徒，乃至鉴真的弟子，如如海、灵祐等人，正是以这种落后的意识与庸俗的情感来对待鉴真的远大事业，因而引起了不小的破坏作用。此外，鉴真的弘法事业在当时也只能从私人关系中寻求帮助，甚至不能不采取秘密行动以避免官府的阻拦。这样，当然会给这件本来就很艰巨的任务增添上更多的困难。不妨设想，如果没有这些消极因素的阻挠，如果鉴真能够得到更广泛的了解与更有力的支援，能够作出更周密的安排，那么，途程尽管遥远，风涛尽管险恶，他也很有可能不必费那么漫长的时间，走那么曲折的道路，受那么多的损失，甚至还可能不致失明，从而能为两国人民做出更多些的贡献。