Башня была возведена в XVII веке, и в ней обитал, по слухам, колдун — чернокнижник, занимающийся алхимией и чёрной магией. Этим чернокнижником был государственный деятель и учёный Яков Брюс, по народной легенде превращавший для Петра I свинец в золото.

Основой для мрачных слухов послужили его занятия астрономией на верхнем этаже башни. Репутация звездочёта, человека, открывающего тёмный полог неба, чтобы узнать тайны мироздания, стала распространяться далеко за пределами Москвы. Среди обывателей появилась легенда, будто у Брюса есть книга, открывающая ему все тайны, и что с её помощью он может узнать что происходит на другом конце земли, и что где спрятано. Но книга эта «никому в руки не дается и находится в таинственной комнате, куда никто не решается войти».

Укреплению слухов способствовали странные вещи, найденные при описи его кабинета, когда Брюс скончался: «зеркало кругловитое небольшое, в котором кажет большое лицо», «раковин разных больших и малых 99», «туфли китайские плетёные из травы», «гриб каменный», «тыква индейская», «кость мамонтовой головы», «янтари, в которых есть мушки», коробочка с «маленькой натуральной змейкой» и тому подобные диковины. Такой набор, по представлениям народа, мог принадлежать только чёрному колдуну.

Говорят, что призрак Брюса до сих пор можно встретить по ночам на месте разрушенной Сухаревской башни. Колдун нашёптывает себе в бороду заклинания и ищет свою чёрную книгу...