Во времена СССР на месте нынешнего парка располагалось здание школы. С началом Великой Отечественной войны его переоборудовали в военный госпиталь, и когда наступило мирное время, строение сохранило медицинское предназначение. На его первых этажах разместилась поликлиника, а выше — больница. В 1955 году вокруг здания посадили деревья — так возник небольшой парк, в котором могли гулять пациенты.

В начале 1990-х годов обветшавшую больницу снесли. Городские власти планировали построить на освободившемся месте гостиницу, но этому решительно воспротивились жители района. Люди выступали за то, чтобы устроить здесь парк и зону отдыха, которых очень не хватало в районе тесной исторической застройки. В результате вплоть до 2013 года на месте спорной территории размещался пустырь, который использовали как парковку.

Однако в результате предложение жителей по созданию парка поддержали муниципальные депутаты, а эскизы будущей зоны отдыха нарисовали сами участники инициативной группы. Обустройство парка началось в 2016 году, и уже в июле 2017 году новая зона отдыха была официально открыта. По предложению местных жителей парк назвали «Горка» — по традиционному бытовому названию этой части района.

Парк «Горка» небольшой (всего 2,7 гектара), но благодаря изобретательной планировке холмистой местности здесь разместились удобства для всех категорий отдыхающих. Парковая территория располагается на трёх уровнях, которые разделены на семь тематических зон. В ходе благоустройства расчистили близлежащие подворотни и сделали удобные проходы на соседние улицы, а также из одной зоны парка в другую. Проходы оборудованы широкими лестницами и освещены.

На нижнем ярусе парка располагается небольшая площадь с фонтаном и клумбами, зоны отдыха с лавочками, а в стороне — баскетбольная площадка и турники для занятий воркаутом. Второй ярус — это зелёная зона с деревьями, часть которых сохранилась ещё со времён больничного сада, детская площадка и спортивная площадка с уличными тренажёрами. На верхнем ярусе размещается видовой балкончик с панорамным обзором и холм с беседкой. В зимнее время здесь заливают горку для катания на санках.

На детских площадках установлены необычные тренажёры и элементы для игр: «паутинка-лазалка» в виде космической летающей тарелки, слайдер и оригинальные качели. Появление космических мотивов связывают с именем знаменитого писателя-фантаста Ивана Ефремова, который жил в одном из соседних домов. Есть здесь и историческая достопримечательность: фрагмент стены XVIII века, который был откопан в ходе реконструкции парка. Его поместили под стекло и превратили в часть парковой инсталляции. Также на территории парка располагается памятник Осипу Мандельштаму и «Стена плача» (благодаря соседству с хоральной синагогой).

Уже в 2017—2018 годах парк получил множество премий, в том числе «Благоустроенная среда» и «Лучший ландшафтный дизайн». Сейчас «Горка» является популярным местом отдыха для горожан. Здесь катаются на скейтах и играют в баскетбол, проводят праздники и концерты. По соседству с парком располагаются кафе, в которых можно подкрепиться во время прогулки.