“文化大革命”中，卓琳一家更是难逃厄运。
运动刚开始，作为中共中央总书记、国务院副总理的邓小平，就因为向首都高校派驻工作组，被打成了“党内第二号走资本主义道路的当权派”。为了罗织罪名，林彪、江青一伙把他六十年代初在抓农业生产时说的一句话搬了出来，加以扭曲发挥，这就是著名的“猫论”。一九六二年七月，针对“共产风”和平均主义给我国的粮食生产带来的破坏，为了调整农村的生产关系，发展农村的生产力，邓小平负责主持召开了几次关于农业问题的会议。会上谈到农村当时出现的各种生产形式时，邓小平说:“哪种形式在哪个地方能够比较容易比较快地恢复和发展农业生产，就采取哪种形式；群众愿意采取哪种形式，就采取哪种形式，不合法的使它合法起来。”为了形象地表达这一观点，他引用了刘伯承元帅在打仗时常说的一句四川俗语:“黄猫、黑猫，只要捉住老鼠就是好猫。”他所说的“猫论”和“不合法的使它合法起来”当然也包含了对当时包产到户做法的肯定。“文化大革命”中，这成了批判他的最著名的把柄，林彪、江青说他“不管白猫黑猫，只要抓到老鼠就是好猫”，就是“不管社会主义还是资本主义，只要能发展生产力就是好主义”，就是“唯生产力论”，是资产阶级“实用主义”思想的反映。
从一九六六年八月五日毛泽东在中南海贴出的《炮打司令部——我的一张大字报》开始，他就成了党内“资产阶级司令部”的代表人物，成了被攻击的对象。不久，他的行动也受到了限制。 邓小平被打倒，卓琳很痛苦，她不知道到底发生了什么事情，也不知道将来会怎样。但几十年和丈夫在一起，她深知丈夫的为人，相信他不是坏人，不是反革命；相信他在政治上不会有什么大问题，是一个正直的共产党员。邓小平挨斗时，她和他在一起，站在他的身边。她从来没有离开过他，邓小平失去自由的时候，她和他一起下放、劳动、散步。
一九六九年十月，随着林彪反革命集团的“第一号令”的发布，邓小平和朱德、李富春、陈毅、叶剑英、聂荣臻、刘少奇、陈云、王震等一起被赶出了北京。他被流放到了江西。
邓小平被流放到江西，孩子们都已被冲得七零八落的，只有卓琳和他的继母夏培根陪着他。由于周总理提前打电话关照过，他被安排到南昌附近的新建县一家拖拉机修配厂工作。一开始，人们让他坐着做清洗零件的工作，后来，由于他自己要求做一些重一些的体力活，工厂的师傅才让他当了钳工。
他们一家三口住在望城岗原福州军区南昌步兵学校的一座两层青砖小楼里。这栋小楼原是步兵学校校长的居所，现在，成了他们的临时安身之地。卓琳身体不好，体力弱，血压高，又有心脏病，邓小平很照顾她。平时的生活中，他们三个人相互照料、相互关心。三位老人年龄相加已有二百余岁，他们相互之间体贴、爱护、患难与共的情景，令人感动。
他们刚到江西时，邓小平每月的工资是四百零二元，卓琳每月一百六十五元，到了一九七○年元月，说是工资改生活费，邓小平每月只能领一百二十元，卓琳六十元，继母夏培根二十五元，全家人合起来，每月总共才二百零五元。
那一段日子，为了节省用钱，他们自己在院子里开荒，买来菜籽，种上丝瓜、苦瓜、辣椒、大葱、豆角、西红柿……三人中的壮劳力是邓小平，所以翻地、浇水等重活自然由他来做。
他们把节约下来的钱用来补贴孩子们的生活，作为孩子们来看他们时的路费。
生活清苦点，行动不自由，他们不在乎，但孩子们都不在身边，让他们非常挂念。
那时邓林、邓楠都已大学毕业了，邓林在河北宣化一个部队的农场里工作，邓楠随北京大学的学生一起去了陕西汉中参加劳动。毛毛和飞飞早已分别下到陕西、山西的农村插队。
孩子们天各一方，做父母的怎能放心得下？后来，情况允许的时候，邓小平给中央写信，要求允许子女探亲，要求批准毛毛、飞飞到江西上大学……
最让他们感到痛心的是邓朴方在“文革”中遭受迫害，导致了终身的残疾。母亲疼爱儿子，得知儿子伤残以后，卓琳哭了好几天，哭坏了眼睛，并且落下后遗症。到现在，她的眼疾还经常复发。
朴方后来被送到救济院，他的小姑姑邓先群在清河社会救济院找到了他，写信告诉了在江西的卓琳和邓小平。卓琳和邓小平听说孩子在北京清河社会救济院过着孤独凄惨的生活，他们都非常难过。邓小平向中央写信，申请让朴方到江西来和他们同住。
朴方当时的身体十分衰弱，胸以下肢体瘫痪，时常高烧。他到了江西之后，卓琳不顾自己的体弱多病，每日为他端饭送水、料理生活；小平则每天给儿子擦澡翻身；祖母夏培根也总是努力多做些好吃的饭菜，为他滋补身体。一家人为他忙开了，他们终于有机会为孩子做点事情了，这几年他们觉得欠孩子的太多了。
在江西的那段日子，邓楠生了个女儿，取名眠眠。有了孙子辈的孩子，卓琳和邓小平又多了一份欢乐，多了一份忙碌。
拖拉机修配厂的工人们从来没有把邓小平一家当成外人， 更没有把他们看成是一个来这里接受改造的“走资派”，诚朴的工人们乐意为邓小平一家提供生活的方便。为了保证邓小平的安全，工人们特意为他修建了一条上班的小路，这条小路不必绕道大门，在离车间较近的墙上开了个小门，使他上班少走些路。这条小路后来就被人们称作“邓小平小道”。
他们每天是上午劳动半天，下午自由支配，三年的时间，他们始终坚持不断，无论刮风下雨，无论酷暑严寒，他们从未误过工。卓琳那时做的活是和一个女同志一起拆线圈，她性格开朗，很快就和这个女工混熟了。
一九七一年九月十三日凌晨，林彪摔死在蒙古国温都尔汗荒漠。同年十一月五日上午，邓小平和卓琳第一次享受了相当于“革命群众”的政治待遇，他们和工人们一起聆听了厂里传达的中共中央《关于林彪叛国出逃的通知》。回到家里，邓小平说了八个字:“林彪不亡，天理不容！”
他给毛泽东写了一封信，表示坚决拥护中央关于林彪反党集团的决议，愿意出来为党和人民再做一些工作。一九七二年八月三日，他又给毛泽东写了一封信，委托中共中央办公厅主任汪东兴予以转交，陈述了同样的内容。毛泽东对邓小平有一个基本的印象，那就是邓小平“人才难得”。所以，他在邓小平的来信上作了这样的批示:邓小平同志在中央苏区是挨整的，即邓(小平)、毛(泽覃)、谢(唯俊)、古(柏)四个罪人之一，是所谓毛派的头子；他没有历史问题，即没有投降过敌人；他协助刘伯承同志打仗是得力的，有战功；除此以外，进城以后，也不是一件好事都没有做，例如，率代表团到莫斯科谈判，他没有屈服于苏修；这些事我过去讲过多次，现在再说一遍。
周恩来当时正主持中央的日常工作，接到主席的批示，他当机立断，一方面将毛泽东的批示和邓小平的信一起交给中央办公厅印刷厂，印刷了若干份，分别送给中央政治局委员传阅，以便在中央政治局开会时进行讨论；一方面又采取了一个果断的措施，立刻以中共中央的名义通知江西省委，宣布邓小平即刻解除劳动，恢复党组织生活，搞一些参观访问调查研究形式的活动。在邓小平参观访问结束回北京后，周总理又安排将邓小平原来的秘书王瑞林等人调到邓小平的身边，协助邓小平工作。
一九七三年二月二十日，邓小平和卓琳离开江西，回到了北京，从此，他们的生活开始有了好转。三月十日，中共中央向全党发出了《关于恢复邓小平同志的党的组织生活和国务院副总理的职务的决定》。一九七五年一月五日，经毛泽东圈阅，中共中央发出第1号文件，任命邓小平为中共中央军委副主席兼中国人民解放军总参谋长。接着，在很快召开的中共十届二中全会上，邓小平的政治局委员得到了确认，并被选为中共中央政治局常委、中共中央副主席。
邓小平回到了领导岗位，立即着手全国各条战线的治理整顿工作。在他的努力下，社会的秩序慢慢地得到了恢复。
“文化大革命”是一条长长的苦难之河，不知有多少中华民族的杰出人物被它吞噬了，不知有多少有志之士在这条苦难之河里经历了剧烈的沉浮，所幸的是我们终于走过来了。
