A lo largo de su historia se utilizó la torre para encarcelar a una amplia gama de los presos, estos incluyen Lady Jane Grey, quien fue reina por alrededor de una semana en el siglo XVI antes de que fuera depuesta por María I. También estuvieron encarcelados dos príncipes Eduardo y Richard, de 12 y 9 años, que eran los hijos de Eduardo IV (muerto en 1483). Ellos nunca parecen haber salido de la torre vivos y algunos pensaron que murieron a manos de Richard III, su tío, que tomó el trono para sí mismo.
Dos de las esposas de Enrique VIII, Ana Bolena y Catalina Howard, fueron ambas encarceladas en la Torre de Londres y posteriormente ejecutadas. Enrique VIII, quien volvió a Inglaterra un país protestante, también tenía un número de disidentes en la torre, incluyendo a su ex consejero de Tomás Moro. Otro preso famoso era Guy Fawkes, quien en 1605 intentó volar la Cámara de los Lores mediante la detonación de la pólvora en las bodegas de abajo. Fue encarcelado en la torre y torturado.
En los últimos años del siglo XVIII y comienzos del XIX, la torre se utilizó con menos frecuencia para los presos. El último preso para pasar el tiempo en la torre fue Rudolf Hess, lugarteniente de Hitler, quien huyó a Escocia en 1941 y fue enviado a la torre brevemente hasta que fue trasladado.