Die Namen gebenden Grafen von Berg, die zu den angesehensten und mächtigsten Grafengeschlechtern zählten, können erstmals um 1110/1120 nachgewiesen werden. Der Standort ihrer Burg ist auf dem Gelände hinter der Kirche zu suchen. Der Ort Berg entwickelte sich im Verlauf des Mittelalters aus einem Burgweiler. 1343 kam er mit den Herrschaften Berg, Ehingen und Schelklingen an Österreich und wurde im Verlauf seiner weiteren Geschichte mehrfach verpfändet – so 1681 an die Grafen Schenk von Castell, die 1732 Berg zu Lehen erhielten. Bis 1805 war der Ort der Schwäbischen Ritterschaft inkorporiert.
Zwar wird Berg bereits 1275 als Pfarrei bezeichnet, war später aber Kirchbierlingen unterstellt. Die Kapelle ist dem Hl. Ulrich von Augsburg geweiht. Sie stammt im wesentlichen aus dem 18. Jahrhundert. Eine ihrer Vorgängerbauten soll 1052 von Papst Leo IX. geweiht worden sein. Der zu Berg gehörige Ernsthof wird um 1290 als "Ernshoven" erwähnt. Seit 1972 ist Berg Ortsteil von Ehingen.