Aarhus GF zawdzięcza nazwę korzeniom, które z futbolem mają niewiele wspólnego: Aarhus Gymnastikforening, czyli „Związek Gimnastyczny w Aarhus”, powstał 26 września 1880 roku, a jego głównymi dyscyplinami były gimnastyka i szermierka. Sekcję piłkarską utworzono w 1902 roku, a pierwszy mecz, rozegrany w listopadzie tego roku z Aarhus Idrætsklub Olympia, zakończył się porażką 2:5. Kibice nazywają klub „De Hvide” (Biali) oraz „Byens Hold” (Drużyna Miasta). W 1908 roku zespół wygrał mistrzostwo Jutlandii, a w 1927 roku dołączył do nowo utworzonych ogólnokrajowych rozgrywek ligowych.
Po sezonie spędzonym na zapleczu (1952/53) AGF wrócił do najwyższej klasy i w ciągu kolejnych dwunastu sezonów zdobył cztery mistrzostwa Danii (1955, 1956, 1957, 1960) oraz pięć Pucharów Danii. Ten okres przyniósł też pierwsze europejskie doświadczenia. W inauguracyjnej edycji Pucharu Europy Mistrzów Krajowych (1955/56) AGF przegrał w pierwszej rundzie ze Stade de Reims 2:4 w dwumeczu, a trzy gole dla Francuzów strzelił Léon Glovacki. W sezonie 1960/61, jako mistrz kraju, duński klub dotarł do ćwierćfinału, w którym odpadł z późniejszym zwycięzcą rozgrywek, Benfiką. W tamtej drużynie występowali Henning Enoksen, Henry From i Hans Christian Nielsen, srebrni medaliści igrzysk olimpijskich w 1960 roku, a także John Amdisen, który w latach 1955–1965 zdobył z klubem cztery tytuły i pięć pucharów.
Drugi okres sukcesów przypadł na lata 80. XX wieku. Po powrocie do ekstraklasy w 1976 roku klub spędził w niej trzydzieści kolejnych lat. W 1982 roku zabrakło niewiele: remis 2:2 z B.93 w ostatniej kolejce oddał tytuł Odense Boldklub, a w 1984 roku AGF stracił mistrzostwo na rzecz Vejle Boldklub o jeden punkt. Wreszcie w 1986 roku przyszło piąte mistrzostwo, za sprawą m.in. Flemminga Povlsena, Jana Bartrama i Johna Stampego. Ten ostatni rozegrał w klubie 444 mecze w latach 1977–1991. Później dołożono Puchary Danii z lat 1987, 1988 i 1992. W sezonie 1988/89 AGF dotarł do ćwierćfinału Pucharu Zdobywców Pucharów, gdzie przegrał łącznie 0:1 z późniejszym triumfatorem, FC Barceloną.
Najbardziej pamiętny sezon bez tytułu to 1995/96. Zespół, w którym grali m.in. Stig Tøfting i Håvard Flo, długo prowadził w lidze, lecz w 30. kolejce, przy stanie 3:3 z Brøndby IF, wyrównującego gola głową zdobył bramkarz rywali, Mogens Krogh. Do dziś wspomina się go jako rozstrzygający moment tamtej rywalizacji. Brøndby zostało mistrzem, AGF zajął drugie miejsce, ale w finale Pucharu Danii pokonał to samo Brøndby 2:0. Rywalizacja z Brøndby uchodzi dziś za najważniejszą w historii klubu, a mecz z Aalborgiem BK, zwany „Bitwą o Jutlandię”, łączy dwa najstarsze kluby tego regionu.
Historycznym domem AGF był stadion w Aarhus, otwarty 5 czerwca 1920 roku w obecności króla Christiana X i zaprojektowany przez Axela Høega-Hansena. Rekord frekwencji, 23 990 widzów, padł 23 października 1962 roku w meczu z Esbjerg fB, przegranym przez gospodarzy 0:4. Obiekt był rozbudowywany w latach 1999–2001, a rozbiórkę rozpoczęto na początku 2024 roku. Od lutego 2025 roku AGF gra na tymczasowym stadionie Vejlby w północnej części miasta. Nowy obiekt, projektowany przez Zaha Hadid Architects pod roboczą nazwą „Skovens Arena” („Leśna Arena”), ma pomieścić około 24 tysięcy widzów, a jego otwarcie planowane jest na 2027 rok.
Po 2000 roku klub przeżył poważne problemy finansowe i sportowe. Spadał z ekstraklasy w latach 2006, 2010 i 2014, za każdym razem wracając po jednym sezonie. Od 2014 roku klubem kieruje Jacob Nielsen, a brązowe medale w sezonach 2019/20 i 2022/23 zapowiadały poprawę wyników. W sezonie 2025/26, pierwszym pod wodzą trenera Jakoba Poulsena, byłego zawodnika klubu, AGF zakończył rozgrywki na pierwszym miejscu z dorobkiem 67 punktów (19 zwycięstw, 10 remisów, 3 porażki). Tytuł przypieczętowała wygrana 2:0 na wyjeździe z Brøndby 10 maja 2026 roku. Było to szóste mistrzostwo w historii i pierwsze od czterdziestu lat, a zarazem awans do kwalifikacji Ligi Mistrzów.