北朝则首推清河崔氏、范阳卢氏。唐承北朝而来，以“崔、卢、李、郑”为四大世家。崔、李各有两家，加上相对有些没落的王氏，又称“五姓七家”：即清河崔氏、博陵崔氏、范阳卢氏、荥阳郑氏、赵郡李氏、陇西李氏、太原王氏。
“四姓”或者说“五姓七家”拥有东汉以来绵延的政治和文化上的显贵传统，在唐时为整个社会所推崇。这表现在各个方面。于志怪上，就是：唐朝作者给故事的主人公取姓名时，不是姓崔、卢、李、郑，就是姓萧、裴、韦、薛、柳、杜（次一等的世家）。
盛唐时，皇家和朝廷对“四姓”进行过打击。但丝毫不见效果。满朝大臣如房玄龄、魏徵等仍费尽心思向这四姓求婚。太宗李世民对“四姓”的高傲和社会上对他们的推崇大惑不解，直接点名“崔、卢、李、郑”，发出迷茫的质问：“我实在不明白‘四姓’为什么如此自矜，世间又为什么如此看重他们？！”在此之前，他命重臣修《氏族志》，但在初稿中，编修者无视皇室，而将博陵崔氏排为天下第一。
为保持门当户对和血统的纯洁，“四姓”通常不会搭理外人，而只在他们内部进行着通婚。到唐高宗时，皇帝以法律的形式颁布《禁婚诏》，禁止清河崔氏、博陵崔氏、范阳卢氏、荥阳郑氏、赵郡李氏、陇西李氏、太原王氏这七姓中的主要家族自为婚姻。但结果依旧不如意，反倒进一步增加了他们的分量，“皆称‘禁婚家’，益自贵”。