1875年，高遠城廢城3年後，為響應當時政府的近代化發展政策，高遠城址成為了一個公園。而這個決定，正是高遠城址成為賞櫻勝地的契機。

1876年，當地的武士們從“櫻之馬場”挖掘了許多櫻花樹，移植到了公園裡。 “櫻之馬場”是高遠城下的馬場，也就是江戶時代武士們訓練馬的地方。而移植到公園的櫻花樹，正是位於這個馬場道路兩旁的大樹。

這些移植的櫻花樹，成為了現今高遠城址公園內櫻花的來源。現在城址周邊共有1500餘株櫻花樹，其中有20棵樹齡超過130年的古木，500棵樹齡50年以上的古木。

此外，高遠城址公園櫻花的特別之處還在於其品種。高遠城址公園的櫻花品種是高遠小彼岸櫻，是一種固有品種。 1960年，高遠小彼岸櫻樹林被指定為了長野縣的天然紀念物。

高遠小彼岸櫻的特徵在於花型小，顏色紅。如龍一般的樹幹，蜿蜒盤旋，視覺衝擊力極大。