Hajós nasceu em Budapeste, Hungria, como Arnold Guttmann. Tinha 13 anos de idade quando se sentiu obrigado a tornar-se um bom nadador depois do seu pai se ter afogado no rio Danúbio. Tomou o nome Hajós (marinheiro em húngaro) para a sua carreira atlética, porque era um nome húngaro.
Em 1896, Hajós era um estudante de arquitetura na Hungria quando se realizaram os Jogos de Atenas. Foi autorizado a competir, mas a permissão da universidade para faltar às aulas era difícil de obter. Quando regressou à Universidade Politécnica, o reitor não felicitou Hajós pelo seu sucesso olímpico, mas, em vez disso, disse: “As suas medalhas não me interessam, mas estou ansioso por ouvir as suas respostas no seu próximo exame”.
Nos Jogos de 1896, as provas de natação foram realizadas no Mar Mediterrâneo, lutando contra os elementos. O Hajós de 18 anos de idade ganhou as suas duas medalhas de ouro com um tempo extremamente frio (a temperatura da água era de cerca de 13 °C, com ondas de 4 m a cair-lhe em cima. Ganhou o estilo livre de 100 metros com um tempo de 1:22.2, e o estilo livre de 1.200 metros em 18:22.1.
Hajós queria ganhar as três distâncias, mas o estilo livre de 500 metros foi imediatamente após os 100 e imediatamente antes dos 1.200. Antes da corrida dos 1.200 metros, untou o seu corpo com uma camada de gordura de um centímetro de espessura, mas provou ser de pouca proteção contra o frio. Ele confessou depois de vencer a corrida que, “a minha vontade de viver superou completamente o meu desejo de vencer”. Num jantar em honra dos vencedores olímpicos, o Príncipe Herdeiro da Grécia perguntou a Hajós onde tinha aprendido a nadar tão bem. Hajós respondeu: “Na água”. Na manhã seguinte, a revista ateniense Acrópole descreveu Alfréd com o subtítulo: “Golfinho Húngaro”. Foi o mais jovem vencedor em Atenas.
Antes dos Jogos Olímpicos de Atenas, Hajós foi o campeão europeu de natação livre de 100 metros em 1895 e 1896.
Atleta versátil, ganhou o campeonato húngaro de 100 metros de sprint em 1898, bem como os títulos nacionais de 400 metros de obstáculos e discos. Também jogou como avançado nas equipas do campeonato nacional de futebol da Hungria de 1901, 1902, 1903 – e jogou no primeiro jogo internacional disputado pela equipa nacional húngara, contra a Áustria, em Viena, a 12 de outubro de 1902. Entre 1897 e 1904 foi também árbitro de futebol, e durante 1906 foi o treinador da equipa nacional de futebol da Hungria.
Em 1924, Hajós, um arquiteto especializado em instalações desportivas, entrou nas competições de arte dos Jogos Olímpicos de Paris. O seu plano para um estádio, concebido em conjunto com Dezső Lauber (que jogou ténis nos Jogos Olímpicos de Verão de 1908), recebeu a medalha de prata; o júri não atribuiu uma medalha de ouro na competição. Assim, o júri não lhe atribuiu uma medalha de ouro nas competições olímpicas de desporto e arte.
A instalação desportiva mais conhecida concebida pela Hajós é o Estádio Nacional de Natação Alfréd Hajós construído em Margitsziget (Ilha Margarida) no Danúbio em Budapeste, que foi construído em 1930, e utilizado para os Campeonatos Europeus de Aquática de 1958, 2006 e 2010, e para o Campeonato Mundial de Pólo Aquático Masculino da FINA de 2006.
Em 1953, o Comité Olímpico Internacional atribuiu-lhe o diploma olímpico de mérito. É membro do Salão Internacional da Fama da Natação, e em 1981 foi também nomeado membro do Salão Internacional da Fama dos Desportos Judaicos.
O seu irmão, Henrik Hajós, ganhou a medalha de ouro em natação 4×250 m Freestyle nos Jogos Olímpicos de 1906 em Atenas.
