Eine erste sichere Erwähnung von Granheim ist aus dem Jahre 1208 bekannt. Nach dem Ort nannte sich ein Niederadelsgeschlecht, Dienstleute der Herren von Steußlingen, die bis in die Mitte des 13. Jahrhunderts nachzuweisen sind. Über die Familien der Grafen von Helfenstein und der Wöllwarth kam der Ort schließlich in den Besitz der Herren von Speth, welche auch die Besitzanteile der Truchsessen von Bichishausen erwarben. In ihrer Hand verblieb die Ortsherrschaft bis ins 19. Jahrhundert. Das Schloss an der Straße nach Frankenhofen entstand in den Jahren um 1776. 1805 fiel das dem Ritterkanton Donau eingeschriebene Gut an Württemberg.
Kirche und Pfarrei Granheim werden 1208, der Kirchenheilige St. Martin 1281 genannt. Die heutige Pfarrkirche entstand Ende des 17. Jahrhunderts, während der Turm noch gotische Bauformen aufweist. Die kleine Kapelle "auf der Halde" wurde 1829 von den Herren von Speth erbaut. Granheim ist seit 1974 Stadtteil von Ehingen.