Евреи появились в Рязани во второй половине 19 века, это были кантонисты. Количество евреев росло, в основном, за счет ремесленников, и в начале 20 века в городе проживало уже около ста семей.
В 90-х годах ХIХ века была построена маленькая деревянная синагога, тогда же община пригласила раввина. После пожара 1901 года власти выдали разрешение на строительство каменного здания (частично сохранилось до наших дней), которое начало функционировать как синагога с 1903 года.
В архивных документах указано, что при здании имелась миква, хевра кадиша, хедер, библиотека. В 1930 году на волне воинствующего атеизма еврейская община была ликвидирована, а синагога передана под молочный завод. Судьба тогдашнего раввина Нохума Ное осталась неизвестной.
С этого времени еврейская жизнь практически остановилась, несмотря на это, при организации в 60-е годы нового кладбища, власти предусмотрели на нем обособленный участок, на котором до сих пор производятся только еврейские захоронения.