理论上，太上皇能废掉皇帝吗？

理论上当然可以

但题主你有一个很大的误区，历史上废皇帝的并不是太后啊！太后大部分的时候只是拿出来当枪使的。真正废掉皇帝的，是权臣/权宦/权外戚/权宗室，太后只是个盖章的橡皮图章。

所以答案就很简单，如果皇帝没有掌握实权，那么太后也好太上皇也好都可以废帝，没有太后太上皇也可以找其他理由废帝。如果皇帝掌握了实权，比如李世民那种，那太上皇也好太后也好就是吉祥物，哪怕本人拿着圣旨出来宣召也会被拖走说他们老糊涂闹着玩。