军委扩大会议继续深入批判彭、黄，外交战线继续批判张闻天同时进行的。

    扩大会议期间，他以前几乎所有的讲话和许多做法，都成了“右倾、反党”的“罪行”，受到批判。这已经不是什么思想认识问题，而是严重的政治立场问题。会上还深入追查他与彭德怀的关系，追究他在历史上“反党”的问题。就连彭德怀送给贾拓夫大女儿达黎的一架照相机，也成了他与彭德怀关系密切“有组织联系”的“罪证”。而揭发、批判和斗争他的，都是一起工作过的同志和工交战线的“各路诸侯”。在当时的空气下，自然也是一边倒的。火力之猛，攻击之烈，叫人难以承受。他也差一点被划为“彭德怀反党地下俱乐部成员”。因没有其他证据，彭德怀也明确讲“贾拓夫和我没有关系”，“我根本没有找贾拓夫同志要过什么材料”，才没有戴上那顶帽子。那时，像彭德怀、黄克诚这样的老战士，这样久经党内斗争考验的老共产党员，最后都不得不“要什么给什么”，委曲求全，以维护大局。贾拓夫当然也不能不检讨，不能不反省。何况他过去确实不曾想过，这经济工作中的问题和看法与资产阶级和无产阶级之间的斗争有什么关系，与阶级斗争有什么关系。使他最难于接受的是说他反党，他的问题是“反对总路线，反对大跃进，反对毛主席”！几十年投身共产党，投身革命，他怎会反党呢？怎么会反毛主席呢？他检查不下去。但最后，还是被迫承认了自己“客观上起到了反对大跃进、反对总路线和反对毛主席的作用”。

    这一段的日子确实难熬，确实痛苦。他把自己关在小屋子里终日不迈出那间权作书房的斗室一步，也不让孩子们走进他那自称为“思过斋”的房间。昔日车水马龙，谈工作的，叙旧情的，看望他的人们，从此不敢见面。只有很少数的老同事，在其他领导同志委托下，前来安慰一番。老伴白茜与他寸步不离，形影相吊，关怀照顾。只一个多月时间，这位年仅47的壮年汉子，竟变得满头花发，瘦骨嶙峋，目光呆滞，苍白憔悴。往日那目光炯炯、透着灵气、显着精干的形象，已决然没有一点影子。“党内的才子”成了一个弱难经风的“老叟”。他难道真的“罪”当如此吗？不！他自己始终没有真正承认过这一点。他此时的“窘迫”，也许正是由于那种极其矛盾、极其复杂的心理状况所造成的。

    工交口党组扩大会议，以确定贾拓夫为“右倾机会主义反党分子”而告结束。与他意见比较一致的或曾经受他委托搞过一些材料的同志，也都纷纷受到批判、处理。党中央决定：撤销贾拓夫国家计委副主任、党组副书记的职务。贾拓夫从此由事业的巅峰一下子跌到低谷，走过了他人生悲壮的一幕。