Tirpitz ble født i Küstrin (nå Kostrzyn nad Odrą, Polen) i provinsen Brandenburg, Preussen. Han begynte i den prøyssiske marinen i 1865 og så handling i den fransk-prøyssiske krigen 1870–71. Etter krigen hadde han ulike stabsstillinger og kommandoer og steg i gradene.
I 1897 ble Tirpitz utnevnt til statssekretær for den keiserlige marinen , etterfølger admiral Friedrich von Hollmann. Han begynte umiddelbart å implementere sine ambisiøse planer om å utvide den tyske marinen, og trodde at en sterk marine var avgjørende for Tysklands nasjonale sikkerhet og økonomiske velstand.
Under Tirpitz' ledelse, den tyske marinen vokste raskt. Antallet slagskip og kryssere økte, og nye typer krigsskip, som ubåter og destroyere, ble introdusert. Tirpitz hadde også tilsyn med byggingen av et nettverk av marinebaser og verft.
Tirpitzs marineutvidelsesprogram la en belastning på Tysklands ressurser og forårsaket spenning med Storbritannia, som følte seg truet av veksten av den tyske marinen. I 1906 lanserte Storbritannia Dreadnought, en revolusjonerende ny type slagskip som gjorde alle eksisterende slagskip foreldet. Tirpitz svarte med å beordre bygging av en ny klasse slagskip, Nassau-klassen, som var bevæpnet med kraftigere kanoner og tykkere rustninger enn Dreadnought.
Det anglo-tyske marinekappløpet fortsatte til utbruddet av første verdenskrig i 1914. Den tyske marinen, under Tirpitz' kommando, spilte en betydelig rolle i krigen, men ble til slutt beseiret av Royal Navy.
Etter krigen trakk Tirpitz seg ut av marinen og gikk inn i politikken. Han tjente som medlem av Reichstag fra 1924 til 1928 og var en vokal kritiker av Weimar-republikken. Tirpitz døde i Ebenhausen, Bayern, i 1930.
Tirpitz er fortsatt en kontroversiell figur. Han er beundret av noen for sin fremsyn og besluttsomhet i å bygge opp den tyske marinen, men han blir også kritisert for sin rolle i det anglo-tyske marinevåpenkappløpet og utbruddet av første verdenskrig.