1875年，高远城废城3年后，为响应当时政府的近代化发展政策，高远城址成为了一个公园。而这个决定，正是高远城址成为赏樱胜地的契机。

1876年，当地的武士们从“樱之马场”挖掘了许多樱花树，移植到了公园里。 “樱之马场”是高远城下的马场，也就是江户时代武士们训练马的地方。而移植到公园的樱花树，正是位于这个马场道路两旁的大树。

这些移植的樱花树，成为了现今高远城址公园内樱花的来源。现在城址周边共有1500余株樱花树，其中有20棵树龄超过130年的古木，500棵树龄50年以上的古木。

此外，高远城址公园樱花的特别之处还在于其品种。高远城址公园的樱花品种是高远小彼岸樱，是一种固有品种。 1960年，高远小彼岸樱树林被指定为了长野县的天然纪念物。

高远小彼岸樱的特征在于花型小，颜色红。如龙一般的树干，蜿蜒盘旋，视觉冲击力极大。