Norwich City nie powstał z rozmachem wielkiego kapitału, lecz z inicjatywy dwóch nauczycieli, grających w amatorskim zespole CEYMS. 17 czerwca 1902 roku zwołali spotkanie w Criterion Café w Norwich, na którym założono klub. Pierwszy mecz o stawkę rozegrał 6 września 1902 roku z Harwich & Parkeston na obiekcie przy Newmarket Road, a już w 1905 roku Football Association wykluczyła go z amatorskiej piłki, uznając za organizację zawodową. Klub przeżył bankructwo i został reaktywowany w 1917 roku. Dla miasta oddalonego od wielkich ośrodków był to początek długiej drogi, w której kibice zawsze mieli poczucie, że reprezentują wschodnią Anglię przeciwko całemu światu.
Barwy klubu, żółta i zielona, oraz przydomek „Canaries” (kanarki) wiążą się z historią miasta: kanarki miały trafić do Norwich w XVI wieku. Do tej tradycji nawiązuje także pieśń „On the Ball, City”, uznawana za najstarszą piłkarską pieśń na świecie, której pierwotna wersja powstała prawdopodobnie w latach dziewięćdziesiątych XIX wieku. Śpiewają ją kibice do dziś, a to jeden z najstarszych klubowych rytuałów w angielskim futbolu.
Pierwszą wielką chwilą w dziejach klubu był sezon 1958/59, w którym trzecioligowy Norwich dotarł do półfinału Pucharu Anglii. W 1962 roku pod wodzą Rona Ashmana zdobył swoje pierwsze trofeum, Puchar Ligi, pokonując w dwumeczu finałowym Rochdale. W 1972 roku klub po raz pierwszy awansował do najwyższej klasy rozgrywkowej, a w 1985 roku wygrał Puchar Ligi po raz drugi, pokonując na Wembley Sunderland 1:0. Droga do tego finału prowadziła przez dwumecz półfinałowy z lokalnym rywalem, Ipswich Town, rozstrzygnięty golem Steve’a Bruce’a. Mimo tego sukcesu Norwich spadł w tym samym sezonie z ligi, jako pierwszy angielski klub, który zdobył poważne trofeum i został zdegradowany w jednym roku. Z tytułów mistrzowskich drugiego poziomu klub zdobył je w sezonach 1971/72, 1985/86 i 2003/04.
Największy rozdział w europejskiej historii napisał sezon 1993/94. Rok wcześniej, w pierwszym sezonie Premier League, Norwich pod wodzą Mike’a Walkera długo liczył się w walce o mistrzostwo i ostatecznie zajął trzecie miejsce, co dało miejsce w Pucharze UEFA. W trzeciej rundzie tych rozgrywek klub zmierzył się z Bayernem Monachium. 20 października 1993 roku w Monachium Norwich wygrał 2:1, a bramki zdobyli Jeremy Goss, autor uderzenia z woleja uznawanego za najpiękniejszą bramkę w historii klubu, i Mark Bowen. Świetnie bronił Bryan Gunn. Norwich został pierwszym angielskim klubem, który pokonał Bayern na Stadionie Olimpijskim. W rewanżu zremisował 1:1 na Carrow Road, ale w kolejnej rundzie odpadł z Interem Mediolan, który wygrał dzięki dwóm golom Dennisa Bergkampa. Był to jedyny jak dotąd występ Norwich w europejskich pucharach.
W historii klubu zapisali się także zawodnicy, których nazwiska wciąż wymienia się w Norfolk: Kevin Keelan, który rozegrał 660 meczów w latach 1963–1980 i jest rekordzistą pod tym względem, oraz Johnny Gavin, najlepszy strzelec w dziejach klubu ze 132 bramkami. Kluczową rolę w latach dziewięćdziesiątych odegrała też właścicielska rodzina: gdy klub przechodził kryzys, jego współwłaścicielami zostali Delia Smith, znana z telewizji kucharka, i jej mąż Michael Wynn-Jones. W 2024 roku większościowym udziałowcem został amerykański biznesmen Mark Attanasio.
Dla kibiców najważniejsza pozostaje rywalizacja z Ipswich Town, z którym Norwich rozgrywa derby Anglii Wschodniej od początków istnienia klubu.
Domem klubu jest Carrow Road, na którym drużyna gra od 1935 roku, a który mieści około 27 tysięcy widzów. Rekord frekwencji, 43 984 osoby, padł w meczu Pucharu Anglii z Leicester City w sezonie 1962/63. To właśnie tutaj, w otoczeniu żółto-zielonych szalików, ta wschodnioangielska historia nadal jest opowiadana: o klubie założonym przez dwóch nauczycieli, który zdołał pokonać Bayern w Monachium.