此时的徐寿辉真正成为光杆司令，是陈友谅手中的棋子，于是在几乎所有的历史书中都出现了这么一段奇怪的描述：至正二十年（1360），徐寿辉在陈友谅的挟持下进攻朱元璋。
进攻，还是被人挟持的，做皇帝做到了这个地步，还不如死了好。
徐寿辉并不想死，他把权力交给了陈友谅，只是希望活下去。
陈友谅是属于那种“卧榻之侧岂容他人酣睡”的人，他绝不会放过徐寿辉。
这一天终于来到了。至正二十年六月十六日（够精确），陈友谅率领十万军队顺江而下攻克朱元璋的采石，他邀请徐寿辉去采石城的五通庙拜神，徐寿辉一向对这些活动很是热衷，于是他应邀来到了庙里。
当他来到庙里时，陈友谅正站在窗前，身边站着两个卫士，外面下着很大的雨。