Fondé en 1898 à Portsmouth, le club adopte le statut professionnel en 1898. Il évolue en Southern League entre 1898 et 1920. Pompey atteint un niveau national en 1920 avec la promotion en Third Division, puis après deux promotions successives évolue parmi l'élite anglaise pour la première fois en 1927. Le club parvient à deux reprises en finale de la Coupe d'Angleterre de football en 1929 et 1934 avant de l'emporter en 1939. La compétition ayant été ensuite suspendue en raison de la Seconde Guerre mondiale, Portsmouth conserve le trophée jusqu'en 1945, ce qui constitue le record de l'épreuve. Les années d'après-guerre sont fastes pour Pompey, avec deux titres de champion d'Angleterre consécutifs en 1949 et 1950.
ne forte rivalité avec Southampton (The Saints