Конструкция была возведена в промежутке между 1493 и 1495 годами, на месте, где некогда находилась башня времён правления легендарного московского князя, участника Куликовской битвы Дмитрия Донского. Благодаря тому, что Средняя Арсенальная расположена на довольно твёрдом грунте, она сохранилась в гораздо лучшем состоянии, чем остальные башни Московского Кремля.

С точки зрения архитектурной композиции, Арсенальная башня — это вытянутый вверх четырёхугольник. Наружную грань конструкции завершают площадки, на которых размещены бойницы навесного боя и парапет. В конце XVII века строение было дополнено открытым четвериком с шатром, венчала который сквозная смотровая.

Внутренняя часть башни разделена на три части, которые перекрывают цилиндрические своды и соединяют внутристенные лестницы. Шатёр, благодаря своей оригинальной конструкции, разделяется на ярусы с помощью плоских перекрытий. У подножия Средней Арсенальной башни расположен грот, в котором в своё время играл оркестр. При оформлении крыльев грота были использованы обломки городских зданий, которые были разрушены во время военных действий 1812 года.