贞观三年,公元629年，李世民授予房玄龄太子少师官衔。
他坚决推辞，只任代理太子詹事，兼任礼部尚书。
这一事，充分显示了房玄龄的懂得进退。
也正是如此，李世民更加的看重他。
第二年，就让他接替长孙无忌任尚书左仆射，改封爵号魏国公，同时主持编撰本朝历史。
房玄龄统管朝廷各部门政务以后，更是忠于职守，从不懈怠，尽心竭力，不愿出现一点失误。
他听到别人的优点长处，就像是自己有那优点长处一样高兴。他熟悉百官的情况，多讲优点来鼓励他们，研究制订法律条例，立意是宽容公正。取用人才不求全责备，不用自己的长处苛求别人，按照才干安排职务，出身低微也无妨碍。
公众舆论赞扬他是贤相。
他有时出了差错被皇上批评，就一连几天在理事的朝堂里叩头请罪，惶恐不安，好像无地自容。
贞观九年，因维护李渊的陵墓制度有功，加赐开府仪同三司名号。
贞观十一年，跟司空长孙无忌等十四人一起被封为世袭刺史，按照这个身份任宋州刺史，改封爵号梁国公。
贞观十三年，提升为太子少师，房玄龄多次呈表请求免去尚书左仆射职务。
李世民批复说：“选贤任能的关键，应以不存私心为根本；事奉国君的原则，应以当仁不让为美德。各个时代都靠这弘扬教化，所有贤良都靠这协调关系。你忠诚谦恭，正直厚道。天下混乱之时帮我谋划建立功业，玄武门事变之前帮我扫平登极道路。你为朝臣们树立了楷模，按法度处理政务；辅佐太子，声望成就都如此显著。可现在忘掉了根本原则，拘泥于琐细规矩，虽然接受了太子少师的职务，却推辞襄理政务的重任，难道这就是所说的辅佐我一人共同安天下吗？”
房玄龄于是担任尚书左仆射的同时兼任太子少师。
这时皇太子李治就要举行拜师仪式，备办了礼物等着他，房玄龄迫切地希望降低自己的权位，又不敢上表陈述，就自动回家去了。
他这样的行为，让有识之士见了，没有不尊重他的辞让精神。
房玄龄自从官居中书令、尚书左仆射十五年时间，女儿嫁给了李世民的儿子韩王李元嘉为妃，儿子房遗爱娶李世民的女儿高阳公主为妻，一时显贵到了极点。
他多次呈表辞职，李世民老是劝阻。