1952年7月，新中国第一次组队参加了赫尔辛基奥运会。在1954年国际奥委会第50届全会上，国际奥委会以23票赞成、21票反对通过决议，承认中华人民共和国在国际奥委会中的合法席位。

　　1956年墨尔本奥运会是新中国第一次系统备战的奥运会，在举重、游泳、体操、足球等7个项目中挑选出了92名运动员，其中包括了当时中国的体育精英，比如以133公斤打破挺举世界纪录的陈镜开、“百米蛙王”穆祥雄、篮球名将杨伯镛、田径名将郑凤荣等。其中，穆祥雄当时排名世界第二，在国际泳坛已经小有名气，很有希望夺得金牌。

　　但是国际奥委会在邀请中国代表团的同时，也向台湾当局发送了邀请函。这显然是在制造“两个中国”，于是中国政府决定抵制本届奥运会。如果不是因为退出，中国很可能在墨尔本就实现了奥运会金牌零的突破。在奥运会举办的同时，国家体委在上海举办了奥运对抗赛，那次对抗赛上，穆祥雄200米蛙泳的成绩比墨尔本奥运会冠军还快了1.6秒。第二年，穆祥雄创造了一年之内三破100米蛙泳世界纪录的奇迹，而郑凤荣也打破了女子跳高世界纪录。

　　为了维护中国领土的统一和完整，中国奥委会于1958年8月宣布断绝与国际奥委会的关系，并从1958年6月至8月间，先后退出了15个国际单项体育组织。当时的中国国际奥委会委员董守义毅然辞去了国际奥委会委员的职务。

　　“乒乓外交”之后，国际奥委会的态度改变了。1972年中国恢复了在联合国中的合法席位。同年，国际奥委会迎来了一位新主席、爱尔兰人基拉宁。国际奥委会意识到，应该尽快恢复中华人民共和国在国际奥委会的合法地位，为此基拉宁和国际奥委会副主席萨马兰奇在1977年9月和1978年4月两次访问中国。

　　1979年11月，国际奥委会通过了著名的名古屋决议：中国奥委会在参加奥运会时使用中华人民共和国的国旗和国歌，同时允许台湾作为我国的一个地方性组织在国际体育组织中占有席位，以“中国台北奥林匹克委员会”出现。国际奥委会的这一决定，最终扫清了中国重返奥林匹克大家庭的障碍。