Nace en 1848 en Kagoshima, en los territorios de Satsuma, fue hijo de un samurai del clan Shimizu (parte de Satsuma). En 1863 a la edad de de 16 años lucha por la defensa de la ciudad contra los ingleses quienes bombardean la ciudad en venganza tras la muerte de un inglés en territorio japonés.

En 1864 se alista en la armada de Satsuma, y para las guerras Boshin en 1868 es asignado al Kasuga, un acorazado a vapor, el que se encarga de luchar contra los aliados del shogunato, participando  en la Batalla naval de Miyako y en la de Hakodate (1869).

Posteriormente iría a Inglaterra a cursar estudios avanzados en la marina, allí pese a todas las dificultades que enfrentó (como la nueva dieta, las nuevas costumbres, y todo lo extraño que pudiese encontrar un oriental en la ciudad más populosa y grande del mundo) logró graduarse como segundo de la clase en la Real Academia de Marina de Greenwich. Londres sería su casa hasta 1878, año en que regresaría a Japón convertido en Teniente.

A su regreso se enteró del fin de la Revolución Satsuma donde ya había muerto su amigo Saigo Takamori, y fue enviado a variados destinos hasta el año 1894, año en que desempeñaría un papel fundamental en la Primera Guerra Chino-Japonesa (1894-1895) llegando a ser promovido a Contraalmirante y asignándosele una pensión vitalicia.

Desde esa ocasión escaló gracias a su destreza gran cantidad de grados: en 1898 ascendería a Vice-almirante, en a 1903 Comandante en Jefe de la flota y en 1904 a Almirante, nombramiento que aunque asombró a muchos debido a su gran importancia más tarde se vería como correcto, a pesar de que según sus palabras Yamamoto (el Ministro de la Marina) diría que fue nombrado  “porque Tōgō es un hombre de buena fortuna”.

Al comenzar la guerra con Rusia Togo comandó a las naves que atacarían y recuperarían inicialmente Port Arthur, siendo los catalizadores de la guerra; más tarde llegaría a participar en algunas batallas importantes derrotando una y otra vez a los rusos hasta mayo de 1905, cuando ganaron la batalla decisiva de la guerra, la Batalla de Tsushima, aniquilando a la armada rusa y provocando uno de los estallidos que propiciaría la Revolución Rusa; la estrategia de Togo asombraría al mundo, en especial a las tropas de Inglaterra y Francia quienes posteriormente utilizarían la misma en batalla, puesto que eran prácticamente sólo naves de vapor frente a una armada firmemente organizada, y sin embargo gracias a la destreza del Almirante darían un saldo de 117 muertos para Japón, y 4800 rusos; siendo considerada la máxima victoria naval conseguida sin el apoyo de la aviación.

En 1906 se le condecora con la Orden del Mérito por el Rey Eduardo VII del Reino Unido (pues Inglaterra era aliada de Japón), y en 1907 se le nombraría Conde en Japón (hakushaku). En 1913 recibe el título Honorífico de Almirante de la Flota Imperial Japonesa y Canciller del emperador.

Además del modo militar Togo prestaría servicios a su país de otra manera: desde 1914 hasta 1924 sería el tutor del príncipe Hirohito y futuro emperador Showa; posteriormente recibiría muchos títulos en honor a sus servicios prestados, tales como el Collar de la Suprema Orden del Crisantemo en 1926, la Orden del Milano de Oro (primera clase), y elevado al nivel de kōshaku (marqués) en 1934, un día antes de su muerte.

A su muerte se celebraría un funeral de estado donde los países de Gran Bretaña, Estados Unidos, Países Bajos, Francia, Italia y China mandarían representantes para mostrar sus respetos.

La Armada  de Japón posee tres bustos a los que se consideran los  tres máximos héroes navales del mundo: Horacio  Nelson, Arturo Prat y Togo Heihachiro.