演艺圈一向鱼龙混杂，原本她与黄元申只是荧屏搭档，却被没分寸的媒体炒作成“移情别恋”的烂俗桥段，而丈夫黄汉伟呢，又是圈外人，根本不了解这个圈子的复杂。虽然现在没有具体的资料证明当时两人关于此事的争执，但可以想象得出，为事业付出的赵雅芝希望能够得到丈夫的信任与关心，却最终事与愿违，这才导致他们的婚姻出现危机。
1982年，这段让赵雅芝感到心累的婚姻还是走到了终点。或许是感觉到妻子的决绝，黄汉伟没有反对，很快就同赵雅芝办理了离婚手续。婚姻不复存在，但赵雅芝不想放弃自己作为母亲的权利和责任。次年，为了争夺两个儿子的抚养权，赵雅芝无奈与前夫对簿公堂。最终，法院将孩子判给了她。至此，她的第一段婚姻保卫战就此落幕，虽然没能保全婚姻，但从此有孩子们的陪伴，她已经非常感恩上苍的眷顾。
