沃森的后半生，充斥着与儿子小沃森的各种争执，他们已经习惯于此，并且乐此不疲，就连晋升小沃森为IBM的总裁也是一场恶战后的结果。

那是1950年，他把大部分的时间放在成立没多久的IBM国际贸易公司上面，对IBM美国总部逐渐放手，交给艾尔·威廉姆斯和小沃森打理，但是他会时不时地检验总部的工作和发展情况，也会为一些重大的问题作出决策。

每当小沃森和威廉姆斯作出决策时，总是会先告诉沃森的老秘书菲利浦斯，他是沃森父子之间的缓冲剂，也对小沃森的决策表示赞同；但是当他把小沃森的决定传达给沃森时，有时得到的答案却是“这简直太荒唐了”，这让老菲利浦斯很是为难。他对沃森绝对的忠诚，但是夹在顽固的父子之间真的很具有挑战性，虽然小沃森并没有怪罪他，但他还是会担心小沃森的火爆脾气把自己给点着了。

1951年的春天，小沃森全力以赴地为国防计算机的研制与推进而忙碌着，可沃森不时的反对让他很是头疼，牵扯了他很多的精力。有一天，他的火爆脾气再次爆发，他一阵风般地冲进了沃森的办公室，大声吵道：“你就让你的秘书做公司总裁好了。他每次都同意我的做法，可是跟你商量了之后，总要再回来推翻他自己的决定！”

沃森并没有与小沃森争吵，而是把他支到自己午睡时的接待室里，然后又把秘书菲利浦斯叫到办公室里问明详细情况，然后他沉吟一下儿，有了决定，便把小沃森叫回办公室，对他说：“我们已经决定让你做总裁。”

小沃森以为父亲会把自己训个狗血喷头，两个人又会吵得不可开交，所以沃森这样的决定让他完全没有料到，把惊讶完全表现在了脸上。看到小沃森这样的反应，沃森问：“怎么了？这个位子不是你梦寐以求的吗？”

这么一句话让小沃森很是沮丧，因为他觉得沃森只是为了避免争执才做出这样的决定，而不是真心如此。其实沃森也很失落，他没再对小沃森说什么，直接出门旅行去了，只是指示菲利浦斯写了封信落实那天决定小沃森做总裁的事宜，没给儿子留下一张纸条，甚至也没说一声恭喜。实际上他还是为小沃森的继任做了一系列的准备。

1952年1月，小沃森正式接任IBM总裁，菲利浦斯也升职为公司的副董事长，继续做父子之间的缓冲器，小沃森拥有了更多的自治权，但是重大的财务问题还是要通过菲利浦斯，由沃森决定。

1956年，沃森已经是80多岁的老人，他的身体健康每况愈下，这一次他心甘情愿地决定退出IBM的舞台，退居二线，那时的他是一个可爱的老人。

1956年2月的一天，那时刚刚解决了反托拉斯的案件，IBM在佛罗里达召开了一次大型的会议，公司的工程师们以及科学家们都会出席这次会议，沃森父子也应邀出席会议结束后的宴会，沃森在宴会开始前的20分钟给工程部的主任麦克道尔打电话说：“大家喝些酒怎么样？”

突然接到发布禁酒令的老板这样的电话，麦克道尔很是吃惊，但是还是照办了，于是那天的宴会进行得热火朝天，所有的桌子上都摆放着各种各样的酒。迟到的小沃森看到这样的场面很是吃惊，得知情况后更是吃惊，他在发表致辞的时候，无比幽默地说：“这是一次破天荒的宴会。”引得满屋哄堂大笑。

宴会结束后，小沃森专门去了沃森在旅馆的房间，询问父亲这样做的原因，他没想到父亲的回答是这样的：“我不愿当一个老顽固，所以我改变了看法！”

这次宴会的消息立刻传遍IBM的每一个角落，这意味着至少要花费几个星期的时间才会在公司上下重新恢复原来的饮酒禁令，这是25年来沃森第一次表现出自己性格中的恶作剧一面，让小沃森跌破了眼镜。他在《父与子》一书中这样写道：“这是父亲在25年的时间中第一次表现出他的性格中恶作剧的一面。既然我将成为老板，他就像我的应声虫一样搞恶作剧。”

更加令小沃森吃惊的事是在3个月后，1956年的5月，沃森正式宣布要把总裁的职务交给儿子小沃森。小沃森说：“他自愿地并且非常庄重地作出了这一姿态，对我来说这是一件意义重大的事情，因为这是我没有经过争吵就从他那里得到的第一次提升……”

董事会批准后，小沃森去银行买了一堆5元的金币，分发给IBM的董事们，并且发表了讲话，在讲话中，对父亲沃森的感谢溢于言表，他郑重地说：“父亲任职期间是IBM的黄金岁月。”接着他还举行了记者招待会。

第二天，《纽约时报》上刊登出了沃森父子亲切握手的照片，并且报纸上记载了沃森的一句话，他说：“我不会退休。我只是想把更多的时间用在IBM世界贸易公司上。”只是在不到一个星期的时间里，沃森对迪克也采取了同样的行动，他同样提升迪克为世界贸易公司的总裁，而沃森自己，也正式地退居二线。

那时，他已经是83岁的高龄，健康状况越来越差，严重的胃病深深地折磨着他，这是他想要退居二线的一个重要原因，他在IBM 倾注了毕生的心血，如果不是到了不得不离开的时候，他是不会想要退出IBM的舞台的，而能让他放心做出这个决定的，当然是儿子们的成长让他欣慰，小沃森和迪克在他的帮助与锻炼下，都已经是能够独当一面的人物，他能够放心地走向幕后，走下IBM的舞台。

小沃森说：“不知什么原因，我觉得父亲会无限期地干下去，就会像他在过去一年里所做的那样，在我身旁为我出谋划策。但是，他的健康状况愈来愈差。”

就这样，沃森心甘情愿地退居二线，没有争吵，再也没有争吵，因为死神已经向他逼近了……