因为“虎鹿羊三仙”压根就算不上是什么正经修道求仙的妖精，在书中属于外道野路子的典型。
迫害和尚在佛教菩萨看来是佛敌，修术不修心在道教神仙看来是异端，两头都不讨好，哪方会愿意出手救它们？
再说它们的结局也是自己作的，哪怕斗法途中服软认输，不头铁到底，也能捡条性命回来，完全可以自救。
陈寅恪曾经考证过，《西游记》里车迟国斗法这一章，大概是脱胎于《贤愚经·须达起精舍缘品》里「舍利弗降伏六师外道」的故事：
“今取此佛典与贤愚经原文较，已足见演经者之匠心，及文学艺术渐进之痕迹，而今世通行之西游记小说，载唐三藏车迟国斗法事，固与舍利弗降伏六师事同。又所述三藏弟子孙行者猪八戒等，各矜智能诸事，与舍利弗目犍连较力事，或亦不无类似之处。因并附记之，以供治小说考证者采觅焉。”
《贤愚经》虽然托名为经，其实更像是一部印度民间故事集，最早流传于北魏时期，因为当时印度来华僧人宣讲佛经时常引用故事来阐发佛理。
这则故事讲的是，来自王舍城的佛陀十大弟子之一「舍利弗」要在佛法不兴、外道横行的舍卫城修建一座精舍（小型寺庙），当地的六名外道大法师听闻此事后十分不满，他们奏启国王：
「舍利弗要为瞿昙沙门建立精舍。大王，希望您能允许我们与佛教沙门竞试。如果沙门得胜，再准许他们建立精舍；如果沙门的修行道术在我们之下，恳请大王下令，不准瞿昙徒众再来舍卫城，叫他们安份地待在王舍城就好了！」
国王应允，于是安排双方择日在大广场上斗法，斗法当日，舍卫国举国上下（十八亿人）都前去围观。
六师众中有一弟子，名叫劳度差，善知各种幻术。在大众前持咒，变化一树，此树快速长大，树荫覆盖与会所有大众，枝叶欝茂，上有各种花果。大众见了都说：「这是劳度差所变化！」舍利弗尊者以神力起旋风，强风把树连根拔起，树倒于地，粉碎为如尘般的沙粒随风飘散。众人于是叫道：「啊！舍利弗胜了，劳度差不如！」
劳度差又作咒，化一宝池，四面皆以七宝严饰，水池中有各种奇异名花。大众见言：「这是劳度差变化的！」舍利弗以神力变化出一只六牙白象，各牙上有七朵莲花，每一朵花上有七个颜貌端正如玉的女子，白象缓慢安祥地前行，往至池边，以鼻含水，水池随即消灭。众人纷纷说道：「看！舍利弗胜了，劳度差不如！」
劳度差又作咒变化出一座以七宝庄严的大山，其上有树木、泉池及繁茂的花果。众人见了便说：「这是劳度差变化之力！」舍利弗即化现出一金刚力士，以金刚杵遥指此山，顷刻间，山便崩坏，消失无踪。大众于是异口同音：「舍利弗胜，劳度差输！」
劳度差又变化出一只有十个头的大龙，在虚空中降下各种宝物，同时以雷电震撼大地，使人为之惊动。众人大叫道：「哇！这个是劳度差变的！」舍利弗马上化现出一只大鹏金翅鸟王，须臾间就将龙撕裂吃掉。大众又说：「还是舍利弗胜利，劳度差不如他。」
劳度差立刻变化出一只长着利角的巨牛，肥壮有力，蹬着粗壮的脚，大吼飞奔来前。舍利弗便化现出一只狮子，将牛支解后吃掉。众人齐声说：「喔！舍利弗又胜了，劳度差还是输！」
劳度差于是将自己变化成一个身形高大的夜叉鬼，头上燃着巨火，眼睛红得像血，指甲及牙齿极长，而且利如刀锋，从口里喷出大火，惊跳着跑向前来，舍利弗马上化身成毘沙门天王，身高无数丈，威神显赫，不怒自威，夜叉不禁胆怯惊恐，转身退步，想要逃走，没想到一时间，东西南北四面皆燃起大火，使他无处可逃，唯有舍利弗旁边清凉无火，夜叉鬼于是屈服，匍伏投地，哀求救命。由于惭愧心起，大火顿时熄灭。众人一见齐声说：「看哪！舍利弗又胜了，劳度差实在比不上！」
其后舍利弗尊者升上虚空，在空中示现行、住、坐、卧四威仪，身上出水、身下出火；或从东边隐没，从西边而出；或从西边隐没，从东边而出；或从北边隐没，从南边而出；或从南边隐没，从北边而出；或示现其身大如虚空，又忽而变小；或以一身分作百千身，又合为一身；或身在虚空，忽然又在地上；或践履平地，如行水面、踏着水面，如履平地。舍利弗示现种种变化后，还摄神足，安坐本座。当时会中大众见此等神力变化，无不心生欢喜。舍利弗即为演说佛圣道法，众人随着过去本来修行与宿福因缘，各证道果。有的证得须陀洹果，有的证得斯陀含果，也有证到阿那含果或阿罗汉者，六师外道徒众三亿弟子，则发心跟随舍利弗皈依佛门。
唐代初期，这则故事还演义改编成了讲唱文学《降魔变文》，《降魔变文》中对斗法的目的直言不讳：“佛家若胜，王臣并拟归诚；六师若强，太子与卑微俱受诛戮。”俨然已跟《西游记》里既分高下、也决生死的情节相吻合了。
诚如陈寅恪所说，这些印度民间故事流传到中国后出现了诸多的变化：
“故事一经演讲，不得不随其说者听者本身之程度及环境，而生变易，故有原为一故事，而歧为二者，亦有原为二故事，而混为一者。又在同一事之中，亦可以甲人代乙人，或在同一人之身，亦可易丙事为丁事。”
但在《西游记》里“虎鹿羊三仙”作为旁门外道之存在的本质并没有改变。这点从小说里”外道弄强欺正法、猿显圣灭诸邪“的章回名就能看出来。
此处国名为什么唤作「车迟国」？
这就要从师徒三人初到车迟国这回的「法身元运逢车力，心正妖邪度脊关」章回名说起。
「法身」是佛教术语，佛陀以法为身，可以理解为佛法的代名词。法身元运逢车力，是指作为佛教徒的唐僧师徒来到了车迟国，遇到了正在推车的作苦力的和尚们。心指代的是悟空，悟空在小说里被称作“心猿”。悟空打死了看守和尚的道士，叫做“心正妖邪”，帮助和尚们把车子推上了陡峭而狭窄的小道，叫做“度脊关”。
「脊关」则是道教术语。道教认为静坐运气时，真气要经过所谓“夹脊小路”，上自泥丸宫，下达涌泉穴，回到丹田，就叫一周天，所以脊关也叫夹脊关。
托名于丘处机所作的《西游记证道书》（实际作者应该是清代的某个道士）里有这么一处批语：
此城名唤车迟国。【证道本夹批：车者，河车也。河车转运，原无一息之停，今为外道所误，安得不迟？】
道教把人的经脉血络比作河，把经络中的真气比作车，要把真气从下丹田运往上丹田最难，就是逆水行舟，因此，把这种真气运行，称之为河车。
所以和尚们推车上夹脊小路，这是对道教修行方法的隐喻，而这个车子显然举步维艰，也象征着此路不通。
车迟国“虎鹿羊三仙”所行之事，不论在佛教还是道教看来，都不是正道。
车迟国全国的二千多个和尚被它们迫害得死了有六七百，自尽了有七八百，只剩五百个，其中还包括很多“剪鬃、秃子、毛稀的”无辜百姓。
连太白金星都看不下去了，要请孙悟空出手收拾他们：
众僧道：“不是！不是！那老爷我们认得他。”行者道：“又不曾会他，如何认得？”众僧道：“我们梦中尝见一个老者，自言太白金星，常教诲我等，说那孙行者的模样，莫教错认了。”
同样代表道教天庭体系的龙王也是这么评论它们的：
敖顺不敢相助。大圣原来不知，这个孽畜苦修行了一场，脱得本壳，却只是五雷法真受，其余都躧了旁门，难归仙道。这个是他在小茅山学来的大开剥。那两个已是大圣破了他法，现了本相，这一个也是他自己炼的冷龙，只好哄瞒世俗之人耍子,怎瞒得大圣。
在车迟国内也是飞扬跋扈惯了，连国王也怕它们三分，要知道西游记小说可是明代那可是古代封建社会。
国王展开方看，又见黄门官来奏：“三位国师来也。”慌得国王收了关文，急下龙座，着近侍的设了绣墩，躬身迎接。三藏等回头观看，见那大仙摇摇摆摆，后带着一双丫髻蓬头的小童儿，往里直进。两班官控背躬身，不敢仰视。他上了金銮殿，对国王径不行礼。那国王道：“国师，朕未曾奉请，今日如何肯降？”
师徒三人临走前还特地交待国王：
今日灭了妖邪，方知是禅门有道。向后来，再不可胡为乱信。望你把三教归一：也敬僧，也敬道，也养育人才。我保你江山永固。
一句话就把虎鹿羊三妖开除了道籍。
吴承恩生活在嘉靖年间，面对明世宗迷信道教长生之说导致的明中期政治上乌烟瘴气的荒唐统治局面，吴承恩多多少少有点借《西游记》来抒发其对道教的憎恶之情的私心。
如果车迟国王影射的是嘉靖老儿的话，那代表嘉靖身边那些奸佞道士的虎鹿羊三妖必然会被吴承恩写死，而且越惨越解气。