大樹寺は徳川家にとってとりわけ重要な寺であり、歴代当主や歴代将軍の位牌が安置されている。歴代将軍の位牌は、それぞれの身長と同じ長さになっており、興味深い。たとえば徳川家康の位牌は159センチとなっている。
徳川家康は若い頃、戦いに破れた際、この寺に逃げ帰り、自害を試みた。その際、住職から説得されて思いとどまり、やがて日本統一を成し遂げることになった。その徳川家康の木像など、国の重要文化財も所蔵されている。