按照上官桀的计划，要先利用燕王刘旦的身份，发动政变，在政变成功之后，再干掉燕王刘旦，由他自己来掌握大权。这个暂时联合起来的政治集团的主要目标就是霍光。公元前80年，上官桀、燕王刘旦等人加紧了政变的准备工作。燕王刘旦将夺取帝位的赌注压在上官桀身上，前后派遣十多人，带了大批金银珠宝，贿赂盖长公主、上官桀、桑弘羊等人，以求支持他夺取帝位。偏偏这个时候霍光增加了大将军麾下校尉（部队长）的人数。于是上官桀以燕王名义，提出了弹劾霍光之奏文：“霍光正在检阅京都兵备，京都附近道路已经戒严，霍光将被匈奴扣留十九年的苏武召还京都，任为典属国，打算朝匈奴借兵。所有这些，是为造反，为了他自己当皇帝。”
上官桀已经计划好了，等到霍光休假的时候就把这封奏章送到昭帝手中，然后趁机宣布霍光的“罪状”，再由桑弘羊组织力量共同胁迫霍光辞职，从而废掉汉昭帝。然而计划没有变化快，这封举报信送到汉昭帝的手中后，就被汉昭帝扔在一边，看都不看。
第二天上早朝，霍光听说有人弹劾自己，就站在张贴汉武帝时所绘“周公辅成王图”的画跟前，也不进去。汉昭帝见霍光没来签到，就向大臣打听，上官桀乘机回答说：“因为燕王告发他的罪状，他不敢来上朝了。”昭帝听了没说话，直接朝霍光说：“我知道那封书信是在造谣诽谤，你是没有罪的。以你现在的实力，如果真的要造反，根本不用如此大动干戈！”