Das 1968 geschaffene Wappen von Hirnsberg zeigt über silbernem Wellenschildfuß in Gold auf grünem Dreiberg eine rote Turmruine. In Thalkirchen ist der Bestand der Filialkirche St. Andreas in Thal unterhalb von Hirnsberg über der Arche seit 1080 belegt.

Die Burg Hirnsberg (auf einem Höhenzug in 90 Meter Höhe über dem östlichen Teil des Simssees gelegen) wurde erstmals um 1100 urkundlich erwähnt. „Hirnsberg“ (früher „Herrantisperc“) leitet sich von dem Personennamen Herrant ab und bedeutet also „Burg des Herrant“. Die Burg stand auf dem sog. Wirtsberg, einem vorspringenden Geländekegel am Steilabfall zum Simssee. Der genannte Name ist auch typisch für das Geschlecht der Grafen Falkenstein, was auf eine enge Bindung der Hirnsberger an diese schließen lässt. Offensichtlich sind die Hirnsberger und die später auftretenden Aschauer ein und dieselbe Familie.

Der sog. Speckerturm, oberhalb des Anwesens Specker am Letten stellt wohl den Überrest einer im 13. Jahrhundert erbauten Nebenburg von Hirnsberg dar. Die Kirche Mariä Himmelfahrt Hirnsberg wurde zwischen 1488 und 1500 an der Stelle erbaut, wo zuvor die Burg stand. Mitte des 15. Jahrhunderts entsteht eine rege Wallfahrt zu unserer lieben Frau am Berge nach Hirnsberg.

Am 1. Januar 1972 wurde Hirnsberg nach Endorf eingemeindet. Das 1968 geschaffene Wappen von Hirnsberg zeigt über silbernem Wellenschildfuß auf grünem Dreiberg eine rote Turmruine. Hirnsberg wurde 2016 beim Bundeswettbewerb „Unser Dorf hat Zukunft“ mit Gold ausgezeichnet. 2021 erhielt es das Prädikat „Erholungsort“.

2024 feierte die Freiwillige Feuerwehr mit einem Festzelt und einer Festwoche 150 Jahre. Ein Jahr davor konnte der Trachtenverein GTEV Hirnsberg-Pietzing ein Jubiläumsfest zu 100 Jahre feiern. Dabei konnte die Musik Bachecker Blech auf 20 Jahre zurückblicken.

Der Campingplatz Stein am Simssee ist einer der schönsten der Region und trägt mit seinen Gästen maßgeblich zum Tourismus in Bad Endorf bei. Viele Gäste und Einheimische schätzen die Traditionswirtschaft in Hirnsberg mit dem Gasthof Hilger und seiner Wirtsfamilie. Dort verbindet sich bayerische Gemütlichkeit und Wirtshausmusik mit regionalem und kulinarischem Genuss. Eine kulturelle Bereicherung mit sehr großer Nachfrage sind auch die Aufführungen des Theater des GTEV Hirnsberg-Pietzing im Trachtenheim Letten/Thalkirchen in der Fastenzeit. Diese und weitere Vereine tragen zum Gemeinwohl und Zusammenhalt in dem „schönsten Ort Deutschlands“ bei.