泽尔多维奇1914年出生于明斯克（今白俄罗斯首都）。曾就读于列宁格勒大学，1931年毕业后前往莫斯科的苏联科学院化学物理研究所工作。泽尔多维奇早年从事核物理的研究，并参与了苏联的氢弹研制计划。1950年代，泽尔多维奇的研究领域转向宇宙学和粒子物理学，1958年成为苏联科学院院士。他是最早提出活动星系核的能量来自超大质量黑洞的人之一。1964年，泽尔多维奇提出银河系X射线源是双星系统中的中子星或者黑洞的吸积过程产生的。同年他还提出了宇宙微波背景辐射的存在。1972年，他与拉希德·苏尼亚耶夫预言了星系团对背景辐射的影响，这一现象被命名为苏尼亚耶夫-泽尔多维奇效应，可以用来测量星系团中物质的分布、哈勃常数的数值等等。1987年2月12日逝世。