El AEK de Atenas se fundó el 13 de abril de 1924 por refugiados griegos de Constantinopla, obligados a abandonar la ciudad tras la guerra greco-turca y el posterior intercambio de población entre Grecia y Turquía. El club fue creado por más de cuarenta miembros de la comunidad ateniense de origen constantinopolitano, y su primer presidente fue el periodista y político Konstantinos Spanoudis. Esa patria perdida sigue siendo el núcleo de la identidad del club: los amarinegros están representados por el Águila Bicéfala bizantina, tomada del emblema imperial del Imperio bizantino, cuya capital era la propia Constantinopla.
Un momento decisivo en la historia previa a la guerra llegó en la temporada 1939, cuando el AEK se convirtió en el primer club de la historia del fútbol griego en lograr el doblete nacional, conquistando el título de liga y la Copa de Grecia el mismo año, para revalidar después el campeonato al año siguiente. Sin embargo, la época dorada del club llegó en los años 60 y 70, cuando una dupla ofensiva legendaria —Kostas Nestoridis, máximo goleador de la liga durante cinco temporadas consecutivas, y Mimis Papaioannou, quien pese al interés del Real Madrid permaneció fiel al club durante 18 temporadas— llevó al AEK a nuevos títulos de liga.
En el ámbito nacional, el AEK ha ganado 14 campeonatos de Grecia y 16 Copas de Grecia, situándose junto al Olympiacos y al Panathinaikos como uno de los tres clubes que han dominado durante décadas el fútbol griego. En el plano europeo, el club hizo historia en la temporada 1968-69 al convertirse en el primer equipo griego en alcanzar los cuartos de final de la Copa de Europa. Ocho años después, en 1976-77, el AEK llegó a semifinales de la Copa de la UEFA, todavía una de las mejores campañas europeas de la historia del fútbol de clubes griego.
La sede actual del equipo es el Estadio Agia Sophia, inaugurado en 2022 en el distrito de Nea Filadelfia, en el mismo solar donde se levantaba el antiguo Estadio Nikos Goumas desde 1930. Al margen del nombre comercial que haya llevado en distintos momentos, el nombre del estadio remite deliberadamente a la histórica catedral de Santa Sofía de Constantinopla, el templo más importante del cristianismo oriental y símbolo de la patria que perdieron los fundadores del club. El diseño del estadio se inspira en las murallas de Constantinopla, y también alberga un museo dedicado a los refugiados griegos de Asia Menor.