关于伏羲陵建筑源头的民间说法是这样的:说是春秋之时，现在的伏羲陵处本是一爿空旷的平地，后来适逢黄河决口，大水汹涌奔腾，冲去了不计其数的田园和村镇。当洪水来到陈州时，水势相对已小，人们看到湍急的漩涡里漂着一颗金光闪闪的人头骨，头骨漂到淮阳蔡河段时一下子沉了下来，刹那间，狂风大作，天昏地暗，一夜工夫，水便退了个干净。后来蔡景公疏浚蔡河时，挖出一颗人头，金光闪闪，头上还长着个角。人们便想起来发水时的那颗人头，就说是当时在黄水中漂的那颗人头。怀着好奇，人们请当时在陈国讲学的孔子考证。孔子仔细察看后，肯定地说:头上长角，这是太昊伏羲人祖爷的头骨呀！孔子一句话惊醒四座，人们一起跪下给人祖磕头，并在蔡河之阳为人祖爷修陵。此后，人们经常给人祖爷上香，上香时，还不忘带一兜乡土为人祖添坟，这样伏羲陵墓越来越大，成为一座小山丘。
孔子是大学问家，应该也颇具考据之功，不管百姓的传说是否真实，但有一些史实是与传说相吻合的。按史书记载，春秋时期，孔子曾三次到达陈地，前后历四年余。而孔子在陈地时，黄河确实决过口，淮阳也发过洪水。这是不是一种巧合呢？
最初，太昊陵也许就是一土堆，但到后来，随着中国祭礼文化的发展，显然有了更多的需要，于是，开始有了祠。
但往古之时，无论太庙、宗庙还是家庙，都称为“祠”、“祠堂”。现代学者丁宏伟在《中国古代的祠堂建筑》中考证称:“‘祠堂’这一名称最早出现于汉代，但当时的祠堂均为建于墓地的墓祠，自南宋朱熹著《家礼》，立祠堂之制，始称家庙为祠堂。”这说明太昊陵“汉有祠”是有根据的。
裔的刘秀，为夺回失去的江山，举兵讨伐王莽，因刘秀兵少将寡而败，被王莽穷追不舍。当追杀到淮阳城北一带，只剩他孤身一人，后有追兵相逼，他只好躲到人祖庙里避难，躲过了追兵。最终刘秀收拾残部，东山再起，打败了王莽。登上皇帝宝座后的光武帝刘秀，想起人祖爷的恩德，就为人祖爷修起了大大的祠庙。
陵祠始建于汉代什么时候，史书上没有明确的记载，但历史上却记载了汉高祖刘邦、光武帝刘秀在淮阳的史实。历史上著名的“固陵之战”、刘邦缉韩信的故事都发生在这里。《淮阳县志?大事记》上更是赫然记载着“建武十九年(公元43年)九月，光武帝刘秀巡淮阳”，足见淮阳在汉室中的地位。
