Hammarby IF zaczął jako klub wioślarski. 10 kwietnia 1889 roku na Södermalm, w południowej części centrum Sztokholmu, powstał Hammarby Roddförening, a sekcję piłkarską utworzono 13 sierpnia 1915 roku. Pierwszym boiskiem było Hammarby IP, z którego klub korzystał do 1946 roku. Do dziś rejon Södermalm uważa za swoje serce, choć drużyna gra dziś w Johanneshov, na południu miasta. Barwy są zielono-białe, a przydomek zespołu to Bajen. W 1916 roku klub po raz pierwszy wystąpił w Svenska Mästerskapet, pucharowych rozgrywkach, które wówczas wyłaniały mistrza Szwecji.
W pierwszym sezonie Allsvenskan, 1924/25, Hammarby grał razem z AIK, z którym od początku prowadził stołeczne rywalizacje. Przez kolejne dekady spadał i awansował, a po raz ostatni opuścił najwyższą klasę, kończąc sezon 1939/40 na ostatnim miejscu. Mistrzostwo klub zdobył dopiero w 2001 roku i do dziś jest to jego jedyny tytuł. Zespół wygrał 14 meczów, zremisował 6 i przegrał 6, zdobywając 48 punktów, a najlepszym strzelcem był Andreas Hermansson z 14 golami, w bramce stał Lars Eriksson. Drugie miejsce zajął Djurgården, trzecie AIK, więc po raz pierwszy trzy sztokholmskie kluby były na podium.
Tytuł dał Hammarby prawo gry w eliminacjach Ligi Mistrzów sezonu 2002/03. Rok później klub był wicemistrzem, z 51 punktami i najlepszym strzelcem Kennedym Bakircioglü (12 goli), co dało mu start w Pucharze UEFA 2004/05. Potem nastąpiły dłuższe lata trudne, w tym spadek, ale w 2014 roku klub wygrał Superettan i od 2015 roku znów gra w Allsvenskan. W 2015 roku jego średnia frekwencja, 25 507 widzów, była rekordem szwedzkiej ekstraklasy i wyprzedziła wynik Örgryte z 1959 roku (25 490).
Najnowsza historia klubu przyniosła kolejne sukcesy. W sezonie 2020/21 Hammarby wygrał swój pierwszy Puchar Szwecji, a drugie wicemistrzostwo w XXI wieku zdobył w 2024 roku (54 punkty), po czym poprawił je w 2025 roku (62 punkty, 60 goli). Najlepszym strzelcem w 2025 roku był Nahir Besara, który zdobył 17 bramek, a drużyna zagrała w eliminacjach Ligi Konferencji sezonu 2025/26, kończąc je w trzeciej rundzie. W sezonie 2026 klub ponownie należy do czołówki tabeli.
Stadion klubu w Johanneshov otwarto w 2013 roku, a pojemność na meczach piłkarskich wynosi około 30 tysięcy miejsc. Obiekt dzielą Hammarby i Djurgården, a na meczach pomiędzy nimi i derbach z AIK frekwencje należą do najwyższych w kraju. Średnia liczba widzów na meczach ligowych wynosiła w ostatnich sezonach od około 23,5 tysiąca do 24,3 tysiąca.
Struktura własności klubu odbiega od typowej dla Szwecji. Większość, 51%, należy do stowarzyszenia kibiców i członków, 23,5% do amerykańskiej firmy AEG, a 23,5% do Zlatana Ibrahimovicia, który jest współwłaścicielem od 2019 roku. Historia, która zaczęła się od klubu wioślarskiego z południowego Sztokholmu, pokazuje, jak daleko Hammarby zaszedł od tamtych czasów, zachowując tożsamość klubu z Södermalm.