对于IBM来说，1970年是极其艰辛的一年。这一年，它再次遭遇反托拉斯法案，卷入到旷日持久的诉讼案中。并且，这一年正值美国的经济衰退期，受到双重打击的IBM，年增长率迅速下滑，小沃森为此承受着巨大的精神压力，忙得焦头烂额。

他已经56岁了，每天的生活围绕着公司所展开，永远都是拼搏、拼搏、再拼搏，不断地决定如何走出一个又一个的危机，决定如何把IBM向前推进，每天一成不变地参加会议、做报告、参加公司的餐会、巡视工厂、参加公众活动……为了公司，他几乎没有假日，还经常加班加点，在这样苦苦奋斗的15年时光里，他的孤独感也与日俱增，他突然就不明白父亲沃森忙忙碌碌乐此不疲了一辈子的快乐何在，他忽然找不到这样生活的意义。他想道：“我不能再这样下去了，事情看来要玩完了。”

这种想法越来越强烈，也使小沃森越来越空虚，越来越痛苦，那段日子里，他开始用酒精麻痹自己，借滑雪划船冲减自己的痛苦，但是一坐在IBM的办公室里，他就觉得神志颓丧。到了1970年，他开始神经衰弱，并且越来越严重，有时候无法控制自己的脾气，周围的同事都说他变得喜怒无常。他自己形容说：“好像雪地里行进的汽车，突然就会滑出正常的车道。”

1971年年底，小沃森因心肌梗死住院，当他的医生纽博先生盯着他的眼睛建议说：“为什么不考虑现在就退休呢？”小沃森突然不知所措，一整天他都在思考这个问题，为什么不现在就退休呢？

他意识到，“管理IBM公司的紧张工作是要付出巨大的精力和代价的。我现在何不就以病光荣引退呢？”

当他这样想的时候，突然感觉豁然开朗，以前的空虚与焦躁通通消失不见，一瞬间轻松下来，他觉得从窗外洒进病房的阳光都分外灿烂，于是他决定只要是在医院待着，就绝不会为公司的事情操心。而事实上，他对IBM人事的改革以及管理班子的设置，不像沃森在世那时，即使他不插手IBM的事宜，IBM也依然会良好地运转，不会因此而崩溃。

一个月后，小沃森出院了，可是迎接他的却是妹妹的葬礼。

妹妹那年只有55岁，病魔已经折磨了她很久，现在又带走了她的生命，世界就是这么残酷，小沃森对此很是难过，尤其体味到病痛的折磨后更是感同身受，他说：“只有当你经历了心脏病的打击后，你才会发觉自己的身子骨是如此的脆弱。”

那之后，他在家进行了一场身体以及精神上的恢复，两个月后，他回到了IBM，只是这一次，他不是为了工作，而是为了提出退休事宜。他终于想明白了，一辈子真的很短，总要给自己留点时间为自己而活，过自己想过的生活。他说：“我希望生活更加丰富多彩，而不是仅和1BM公司打交道。我想父亲是不会做这样的选择的，但他一定会尊重我的选择。”只是他的退休似乎也不是那么容易。

小沃森需要思考由谁来接替他的位子，还需要招架董事会的成员们一次又一次的挽留，有时某位董事来劝说他，“你是1BM公司最有价值的人”，有时又成群结队地来对他说，“你可以随意安排日程以减轻对你的压力”，对此他很是无奈，因为他太了解作为世上最好的董事会之一的IBM董事会，虽然会在董事长工作出现差错时毫不留情地把他赶下台物色新人接替，但是当董事长干得不错时，则会百般挽留，不会推荐新的接班人。

但是小沃森已经做出了决定，并且他认为自己的选择是对的，他开始安排接班事宜。一年前他就决定让法兰克·克莱做接班人，小沃森很是欣赏他，欣赏他的冷静自信以及分析问题的能力，他觉得虽然法兰克与自己的管理风格大相径庭，但是他却是天生的领导者，只是一年前自己预计的退休时间应该是在10年后，因而现在的法兰克只是公司电脑部美国分部的负责人，并没有做出什么骄人的业绩，于是他决定先让58岁工作出色并且资历辈分相当高的利尔森担任18个月的主席和总裁。

1972年6月，小沃森正式向董事会递上了辞呈，如同阿尔退休时那样，他表示依旧同意在董事会执行委员会担任主席，同时关于薪水方面，他也表示愿意在退休后的第一年领与以前一样的全薪，到第二年的时候便领一半的薪水，并且从第三年开始便不再领取薪水，但还是可以在董事会挂职，只是不会再在办公室里为IBM操劳奉献了。

薪水于他并不重要，事实上，自从沃森去世后，小沃森便觉得薪水是无所谓的东西，因为他想从IBM得到的是满足感和认同感。

在他心目中，金钱已经不是衡量价值的标准，而现在，自己梦寐以求的日子是他认为的最具价值的东西，他在心里大声地对自己说：“我终于如愿以偿开始实现远航的梦想了！”