最终将罗斯柴尔德家族和阴谋论紧紧捆绑在一起的是德国纳粹。1921年，希特勒在纳粹檔的杂志上撰文，指罗斯柴尔德家族是“控制亲社会主义运动媒体的几大犹太资本家之一”；1922年，希特勒又两次在演讲中攻击罗斯柴尔德家族，说他们通过贷款来支持战争和革.命，达到掠夺人民的目的。在这种情况下，罗斯柴尔德家族被迫停止了在德国的银行业务。
纳粹通过歌剧、展览、电影等，不断向德国人强化罗斯柴尔德家族意图控制欧洲金融、商业的“阴谋”。在1940年的电影《罗斯柴尔德：在滑铁卢的红利》中，罗氏家族投机滑铁卢的故事已然成型：内森获知战果后，“命令手下在伦敦证交所散布假消息，制造恐慌”“点算自己赚了1000万英镑，足够买下英国”——这些内容全部是纳粹虚构的。在电影《顽固的犹太人》中，纳粹更进一步，称欧洲、美国已被一群犹太银行家控制，这伙“恶势力”的代表自然又是罗斯柴尔德家族。他们控制了美联储的传言，即出自这部电影。⑤
在二战中，罗斯柴尔德家族不仅仅是名誉受损，自身实力也受到极大打击。很多家族成员被纳粹迫害、关押，在德国、奥地利的财产几乎被全部没收，几代人搜集的艺术品也都落到纳粹手中。⑥正如1935年《犹太人新闻报》说的那样，罗斯柴尔德家族的“巅峰时期”已经“见顶”，衰落必不可免。
家族财产真相：只是一家三流投资公司，年利润不到高盛1%
罗斯柴尔德家族衰落的原因，除了纳粹的打击外，还有对投资美国的忽视，以及梅耶·罗斯柴尔德早年定下的“家规”。罗氏家族长期不重视美国，19世纪，在南北战争期间，撤走了在美国的大部分业务；20世纪，美国通过两次大战，成长为世界第一强国，而罗氏家族却依然将投资重点放在已然衰败的欧洲。迟至1967年，罗斯柴尔德家族在英、法两国的分行才在纽约设立了银行机构，主要提供并购咨询服务。
在各种神化罗斯柴尔德家族的书籍、文章中，梅耶·罗斯柴尔德定下的几条规则，向来被认为是他们家族取得成功的关键。但事实上，这些家规，如“只有家族中的男性成员可以参与公司业务，并且公司的首席管理职务只能由家族成员担当”、“坚决不允许对外公布家族财产”等，极大地限制了家族事业的发展。⑦
华尔街上的银行、投资公司通常都会拿出一部分股权，分给业绩良好的经理，以激励员工。拒绝这样做的罗斯柴尔德家族在竞争力上，自然要落后于高盛、摩根等大牌投行。上世纪60年代，瑞士联合银行、德意志银行、高盛集团等先后上市，依靠融资获得了长足发展。而罗斯柴尔德家族依旧维持着19世纪家庭作坊的模式。⑧
残酷的情势让罗斯柴尔德家族不得不做出改变。1960年7月，罗斯柴尔德银行有了第一位非家族成员出身的合伙人，后来不断增加。到了80年代，罗斯柴尔德银行也向同行一样，开始以股权激励有能力的经理。不过为时已晚，即使是在罗斯柴尔德家族利润最好的年头，也只有1亿美元，还不到高盛的1/100。⑨
如今的罗斯柴尔德家族只能算是一家三流的投资公司，“其市场地位与影响力目前已可以说微不足道。无论是按股票与债券承销、交易及企业并购业务的市场份额，还是按旗下所管理金融资产的规模，该公司都往往排不上国际前十名，更谈不上呼风唤雨、主宰全球金融市场了”。⑩因此，罗斯柴尔德的家族财富不可能维持每年6%的持续增长，如今更不可能有所谓50万亿美元资产。
综合来看，有关罗斯柴尔德家族的不实传闻由来已久，最早仅是家族成员的宣传策略，后来被反犹主义者利用，一再编造新内容，终于使罗斯柴尔德家族同阴谋论联系到了一起。宋鸿兵的《货币战争》，不过是以纳粹谣言为基础的“集大成者”罢了。
英国的沃德斯登庄园，罗斯柴尔德家族曾经拥有的豪宅之一。现在已经因为付不起房产税，捐给了英国zf。