1949年3月24日，中国人民革命军事委员会主席毛泽东和中国人民解放军总司令朱德热烈庆祝『重庆』号巡洋舰官兵起义，指出中国人民必须建设自己强大的国防，除了陆军，还必须建立自己的空军和海军。1949年4月4日，人民解放军第三野战军副司令员粟裕、参谋长张震奉中央军委命令，到达江苏省泰县白马庙乡，建立渡江战役指挥部，接受国民党起义投诚舰艇，组建一支保卫沿海沿江的海军部队。1949年4月23日，华东军区海军领导机构在白马庙乡成立，张爱萍任司令员兼政委，人民海军从此诞生。

1950年4月14日，海军领导机关在北京成立，这是中央军事委员会领导和指挥的海军部队最高领导机关，肖劲光任司令员，刘道生任副政委兼政治部主任；同年任命王宏坤为副司令员，罗舜初为参谋长，后相继组建了东海舰队、南海舰队和北海舰队。1953年2月，毛泽东主席视察海军舰艇部队，为５艘舰艇写下了５张同样的题词：『为了反对帝国主义的侵略，我们一定要建立强大的海军！』。

1989年3月，中央军委批准确定1949年4月23日为人民海军成立日。