Després de la Gran Guerra, els Jocs van continuar a Anvers, el 1920, i ho van fer inaugurant la història olímpica de boicots. Els futurs boicots de la història olímpica, serien tots de part dels països que havien de participar cap als organitzadors o en protesta per la presència d’algun país en conflicte en la competició. El 1920 no. El boicot va venir de dalt, van ser els organitzadors i el mateix COI el que va impedir participar a un grup de països. El COI va acceptar, tot i que s’amagués sobre una discutible interpretació de les seves regles, castigar els països que havien provocat, i perdut, la Primera Guerra Mundial. Es va considerar que era impensable la presència d’esportistes alemanys competint en el sol belga que no feia tant que havien ocupat per la força de les armes.

Coubertin explica en les seves memòries que “proclamar solemnement un ostracisme l’endemà d’un conflicte que venia d’ensangonar Europa provocaria un esquinç en la constitució olímpica fins aquell moment tant resistent que en podria provocar un precedent perillós. Però la solució era ben simple”. Des del 1896 era el comitè organitzador qui enviava les invitacions als diferents comitès olímpics nacionals per a participar en els Jocs. Des del 1908 aquestes invitacions s’enviaven en nom del COI, però segons Coubertin, el COI “no tenia cap decisió nova a prendre”. Alemanya havia estat present en tots els Jocs anteriors. Segons la Carta Olímpica no es podia discriminar ningú per raons polítiques, ni racistes, ni religioses. El comitè d’Anvers però no va convidar Alemanya, Àustria, Hongria, Bulgària i Turquia. Tots aquests països existien i no havien dissol el seu comitè olímpic.

El 1919 el COI tenia 38 membres. A la trobada que es va fer a Lausana l’abril del 1919 s’hi van reunir Coubertin i set membres més. Dels vuit, cinc eren de països que havien participat en la Primera Guerra Mundial. El COI va decidir que només els països que estiguessin representats en el COI tenien dret a participar en els propers Jocs Olímpics. No obstant, el comitè organitzador podia convidar als països no europeus que no estiguessin representats en el COI. Un acord fet a mida per excloure els components dels anomenats imperis centrals però que no s’aguantava de cap manera, ja que dintre del COI hi havia dos alemanys, dos austríacs, dos hongaresos, un búlgar i un turc. Només un dels membres alemanys havia mort durant la guerra. En aquells temps, els membres del COI ho eren mentre estaven vius sempre i quan no violessin les normes olímpiques. El príncep rus Leon de Ouroussof va seguir dintre del COI tot i que Rússia ja no existia, ell estava a l’exili i la nova URSS no només no reconeixia el COI sinó que el rebutjava. La doctrina de Coubertin segons la qual els membres del COI no representen el seu país en el COI sinó que són els representants del COI en el seu país va quedar totalment en entredit. En la primera gran dificultat que se li va plantejar, la sagrada autonomia que Coubertin proclamava als quatre vents havia quedat en no res.

La majoria dels països europeus no van reprendre les activitats esportives amb Alemanya fins que aquesta va ser admesa en la Societat de Nacions. I això que entre les sancions que el Tractat de Versalles imposava a Alemanya i els seus aliats no hi havia cap referència a l’esport. Un precedent que ens demostra que el COI tampoc no va es va inventar res quan el 1996 va modificar la Carta Olímpica per impedir el reconeixement de qualsevol comitè olímpic d’un territori que no fos membre de les Nacions Unides. El 15 d’agost del 1920 es va desplegar a Anvers per primer cop la bandera olímpica amb els cinc anells símbol dels cinc continents units en la pau i l’amistat, però no hi havia esportistes de tots els països per poder-la veure. El 1921, Coubertin va escriure un article en una revista francesa en la qual deia: “Malgrat certes desil·lusions que han arruïnat en un instant les meves esperances més belles, jo crec encara en les virtuts pacífiques i moralitzants de l’esport. Sobre el terreny de joc no hi ha ni amics ni enemics polítics o socials, només els homes que practiquen un esport”.

Coubertin no va ser l’únic que es va moure durant la Guerra. L’esport començava a tenir la seva importància i el control dels Jocs era molt llaminer. Les federacions internacionals volien la seva quota d’un poder que el COI acaparava. El suec Sigfried Edstroem, president fundador el 1912 de la federació internacional d’atletisme, va ser esmentat per Coubertin, segons se cita en una biografia del baró, com el responsable de la tensió: “Busca desmuntar el COI i substituir-lo per un comitè de federacions del qual ell seria el cap”. Edstroem va entrar en el COI l’any 1920 i n’arribaria a ser el president del 1946 al 1952. La Societat de Nacions que va néixer el 1919 de les cendres de la guerra va ser un dels elements que els opositors a Coubertin van usar per portar l’olimpisme cap a una altra via. Si aquest nou organisme havia de regular les relacions internacionals, perquè no havia de controlar també els Jocs Olímpics? Coubertin s’hi va oposar de totes totes i va aconseguir mantenir la independència, a la seva manera, del COI.