新中国成立初期，为了满足国家对水利建设人才的需求，在政务院的直接关怀下，由当时的水利部部长傅作义于1951年主持创建了学校的前身--水利部北京水利学校。1958年，北京水力发电函授学院、北京水力发电学校并入，成立北京水利水电学院，隶属水利部管理。1960-1978年19年中，著名水利专家、中国科学院首届学部委员汪胡桢先生担任学校校长。1965年，学校开始招收培养研究生。1969年学校迁至河北省，先后在岳城水库和邯郸市办学，1978年更名为华北水利水电学院，并在原北京校址成立了研究生部。1990年学校迁至河南省郑州市办学，2000年，实行水利部与河南省共建、以河南省管理为主的管理体制。2009年，水利部与河南省签署共建华北水利水电学院协议，成为河南省第三所省部共建院校。