郎才女貌对这对夫妻来讲可能再贴切不过了，多莉的到来正好弥补了麦迪逊在社交上所缺的风度，她在白宫的交往中游刃有余，在政治上不但没给麦迪逊带来麻烦，反而给他带来了很多好处。白宫内外，许多人尊重和喜欢麦迪逊夫人，使得多莉在白宫有很大影响。麦迪逊也暗自庆幸自己遇到了知音，就连他过去那瘦弱的身体也慢慢地好起来了，麦迪逊由此成了一名长寿总统，也是开国元勋里最后一个离开人世的。多莉确实给麦迪逊以很大帮助，麦迪逊去世以后，美国众议院通过决议给麦迪逊夫人在国会会场内设立荣誉座位，这在第一夫人中是绝无仅有的。
在麦迪逊最困难的时期，多莉与他同甘共苦，并协助他度过了艰苦的年代，多莉那活泼的性格也使麦迪逊备受鼓舞，这其中也给他带来了许多安慰。麦迪逊婚后生活是快乐幸福的，多莉是麦迪逊的贤内助，这并不是言过其实的。
麦迪逊遇到过的最困难的时期，是与英国开战初期，广大美国人民强烈反战，人们认为这场战争是麦迪逊强加给人们的，而且，美军又处处失利，人们甚至认为美国要毁在麦迪逊手里了。在战争初期一个妇女求上帝开恩，以解开她的长发，为绞死麦迪逊做一根绳子。