引起这种乱子的人是一个肥胖、沉静而谦逊的妇女，她痛恨一切公众的注意。雷切尔是一个生长在穷乡僻壤的人的女儿，长得粗野，也从来没有读过书，她最大的快乐就是坐在自己的火炉前面吮吸她的用玉米芯做的烟斗，见过她的人都赞扬她待人热情、脾气好、为人谦卑。
杰克逊1804年建造豪华庄园时，经常外出不在家，雷切尔指挥掌管了100多名黑奴，她被他们称为是仁慈的女主人。杰克逊非常钟爱雷切尔，虽然雷切尔从来没有过孩子，他还是一如既往地深爱着她。后来，爱子心切的杰克逊夫妇收养了雷切尔的一个侄子，取名叫小安德鲁·杰克逊。
1795年，杰克逊被选为田纳西州制宪会议的成员，以组织新成立的田纳西政府。1796年，杰克逊作为代表出席了在诺克斯维尔举行的起草田纳西州宪法的会议。同年，田纳西州作为第十六个州加入了联邦，杰克逊在没有竞争对手的情况下当选为田纳西州第一位联邦众议员，在国会中他投票赞成托马斯·杰斐逊的民主共和党的主张。1796年的总统竞选中杰斐逊被约翰·亚当斯战胜使他感到失望。