第一次参加奥运会，就是在本土举行的东京奥运会，创进了前八。四年之后在墨西哥城奥运会上，历史性的取得了第三名，这也是他们在伦敦奥运会之前的奥运会历史最好成绩。不过那个时候的日本队虽然成绩好，却并不能长久，因为当时日本足球采用的是精英培训计划，说白了，就是把足球这项草根运动当做精英体育来培养。但当时也是有历史原因的，因为日本国内踢足球的人太少了，要出成绩，就只能这么做。从全国各地挑选出三四十个人，这些人平时什么事情都不做，不需要工作兼职，每天就只是进行专业训练。
这有点像是具有日本特色的举国体制了。
这种训练方式，球员的水平当然提高的很快，但却不能长久，因为不能总是让国家圈养这么几十号人进行训练和比赛，如果这样的话，足球这项草根气息浓重的足球就无法在日本生存下去了。
所以后来在经历了短暂的辉煌之后，日本足球重新跌入了低谷。
输给中国无缘1988年汉城奥运会决赛圈之后，日本足协迎来了一个关键人物，他就是前日本国家队国脚川渊三郎。他开始计划在日本国内推广职业足球联赛，这不仅是对于日本来说，对于其他不少亚洲国家来说，职业联赛都是一个新鲜玩意儿。当时