Байковое кладбище было открыто в 1838 по инициативе генерала Байкова (1772—1842), собственника этих земель, с целью погребения лиц католического и лютеранского вероисповедания на отделённых частях. Несколько позднее на нём было разрешено хоронить православных. Каждая из частей имела свою часовню.
Кладбище разделено улицей Байковой на две неравные части. Южная, малая часть — Старое Байковое кладбище, северная, большая часть — Новое Байковое кладбище, хоронить на котором начали с 80-х годов XIX века. «Новое» кладбище ограждено каменной стеной, входные ворота которой стилизованы под церковь, костёл и кирху. В 1884 году на его территории построили каменную Вознесенскую церковь.

На воротах стилизованных под костел уцелела часть надписи «Beati mortui qui in Domino moriuntur» — это стих из Откровения апостола Иоанна Богослова (14: 13), в русском синодальном переводе: «Блаженны мертвые, умирающие в Господе».