Ikke langt unna rådyrparken lå Castell Dinefwr.