元諧的家族非常的顯貴，在早年與楊堅在北周朝廷主辦的最高學(xué)府國子學(xué)中共同學(xué)習。后來(lái)二人仕途都很順利，元諧擔任北周大將軍，楊堅升任北周丞相，兩人雖然一文一武，但關(guān)系十分親密。581年二月，獨攬大權的楊堅廢掉周靜帝，改國號為隋，是為隋文帝。元諧因為在楊堅登基時(shí)助有一臂之力，升任上大將軍，封樂(lè )安郡公，食邑千戶(hù)。