日本的阴阳师，起源已经不可考，但影响颇深，尤其是在平安朝时代，出了名天才绝艳的人物，名叫安倍晴明，这人少年时期，便拜在当时最负盛名的阴阳师贺茂忠行门下，由于天资聪颖，得以贺茂忠行倾囊相授。
今昔物语集记载，贺茂忠行对安倍晴明“如同灌水入瓮。”
意思是说，贺茂忠行阴阳之法毫无保留倒入安倍晴明这瓮里。
安倍晴明既得名师倾囊相授，又加之天资聪颖，潜心研究，幻术，占卜，无一不精通，更是能前无古人的能招呼出十二式神，能将他人的式神夺将过来，所以，在日本历史上，是最为著名的一位阴阳师。
这个职业在安倍晴明手里，彻底的发扬光大了，当时在平安朝，又专门为阴阳师设立的机构，名为阴阳寮，掌管历法，天文的制定，也负责国家的祭祀事务，实实在在的是个朝廷重要衙门。
阴阳寮里，有五位博士，六位阴阳师，寮长称为阴阳头，官阶为四品，可谓是朝中大员。
这样的传统一直维持了数百年，直至明治维新时期，日本全面西化，这阴阳寮制度才被废止，既然被驱逐出朝堂，当局又恐怕阴阳师们在民间扎根，便一不做二不休，定性阴阳道为淫祠邪教，全面禁止。