El Comitè Olímpic Internacional (COI) va marejar molt la perdiu fins que va decidir suspendre els Jocs del 1940, ja que no ho va fer fins al mes de maig. Per als del 1944, que el juny del 1939 havia atorgat a Londres, no hi va haver mai cap esperança. Quan el maig del 1940 es van suspendre els de Tòquio, ni el més optimista dels membres del COI pensava que el 1944 hi hauria uns Jocs Olímpics.

Durant la guerra, els alemanys van mantenir una intensa activitat esportiva i diplomàtica per aconseguir també el control dels organismes esportius internacionals. Inclòs el COI. El president del COI, Henri de Baillet-Latour, s’estava a la Bèlgica ocupada sota comandament del general Walter von Reichenau, que, ironies de la vida, era membre del COI des del 1938. El juliol del 1940 Carl Diem li va portar el pla de reorganització del COI que proposaven els nazis. Diem va escriure en el seu diari que Baillet-Latour havia aprovat el seu projecte i que havien quedat de continuar les negociacions. Al novembre, Von Tschammer, Von Halt i Diem van tornar a anar a Brussel·les. En l’informe que el màxim responsable de l’esport nazi, Von Tschammer, va enviar al Ministeri d’Afers Estrangers, es deia que Baillet-Latour havia acceptat la proposta de rejovenir el comitè i també que en els estats autoritaris els membres del COI fossin nomenats pel govern del país i no pel COI. Baillet-Latour, però, no va convocar cap sessió del COI, imprescindible per aprovar qualsevol canvi de normes. Baillet-Latour va morir el 6 de gener del 1942.

Els nazis es van apropiar dels símbols olímpics fins a límits quasi inimaginables. Un nombre indeterminat de submarins alemanys van combatre en la Segona Guerra Mundial portant les anelles olímpiques dibuixades al buc. Ho va descobrir Joseph Schirmer, un aficionat a la filatèlia olímpica, un dia que fullejava un llibre sobre la marina alemanya en la Segona Guerra Mundial i va veure una foto d’un submarí del tipus IX C amb les anelles olímpiques pintades a la torreta de la nau. Schirmer, que havia estat oficial de la marina, ho va explicar en un article que va publicar l’any 1977 en la revista del COI. Segons ell, la societat alemanya tenia tan clara la seva supremacia en tots els terrenys que quan van organitzar els Jocs del 1936 van adoptar les anelles olímpiques com el símbol que mostraria els seus sentiments de superioritat esportiva. I el van fer servir en tots els àmbits. També en la marina i totes les tripulacions que es van formar durant el 1936 van dibuixar l’emblema olímpic a les seves naus. Schirmer va esbrinar que sis dels vuit submarins de la flota d’entrenament de la zona de Pillau portaven les anelles olímpiques i que hi va haver moltes tripulacions noves que quan es van formar després dels Jocs també es van dibuixar les anelles. Com el submarí que va veure en el llibre, l’U-537, que va ser avarat el 1943 i que va ser enfonsat a l’oceà Índic el 1944.

La guerra va aturar els Jocs, però tant el 1940 com el 1944 es van fer uns Jocs Olímpics de presoners de guerra. La primera edició es va inaugurar el 31 de juliol del 1940 a l’Stalag XIII, a Langwasser, a prop de Nuremberg. Van ser uns Jocs clandestins, fets d’amagat dels alemanys i en els quals van participar presoners de França, Iugoslàvia, Bèlgica, la Gran Bretanya, Rússia, Noruega i Polònia. Fins i tot es va fer una bandera, de 29x46 centímetres, amb la camisa d’un presoner polonès en la qual van pintar les anelles olímpiques i els colors dels països dels participants. La bandera està guardada al Museu dels Esports i del Turisme de Varsòvia. L’any 1979, el director polonès Andrzej Kotkowski va fer una pel·lícula, titulada Olimpiada 40, inspirada en la història d’un dels participants, Teodor Niewiadomski. El 1944 també hi va haver Jocs de presoners. Es van fer al camp d’oficials de Woldenberg del 23 de juliol al 13 d’agost i al de Gross Born del 30 de juliol al 15 d’agost. En aquest cas van ser autoritzats pel comandament del camp. Hi van participar 369 persones que van competir en futbol, handbol, bàsquet, voleibol, atletisme, boxa i escacs. També es van organitzar concursos de pintura, escultura i música.