第一次
1956年7月，木心被当地公安部门审查，拘留在思南路上的上海市第二看守所，审查期间被安排在拘留所内分发图书。其母亲沈珍在此期间忧郁而逝。半年后，木心无罪获释，母亲的逝去对他打击十分巨大。
1957年，木心进入上海美术模型厂，专门从事展览会设计工作。1958年到1959年期间，木心多数时间待在北京。其中1958年的秋冬，在北京参加第二届全国内农业展览会设计，该年又作为设计师带队留在北京参加十大建筑的室内设计，向国庆十周年献礼。
此后的时间里，木心一直从业于工艺美术行业，1963年至1965年在本单位先后从事外贸、广告等工作，1965年专门从事生产工艺竹帘画以及毛泽东立体照片。年底，又因为技艺精湛被调任到中苏友好大厦（现上海展览中心）任“技术革新，技术革命”展览会的总体设计。
第二次
而在“文革”期间，木心再次入狱，身陷囹圄却始终未放弃文学、绘画和音乐的创作，从中寻求排解与慰藉。早在60年代，木心就开始酝酿长篇散文《巴比伦语言学》的写作，打算融合诗歌，小说和评论于一体，字数以百万计，但未能完成。70年代初，木心曾在飞马牌香烟壳背面列出过一个写作名录，既包括未完成的作品，又包括已写成的作品，总共有15种之多：《和打猎一样》《蛋白质论》《原始忏悔录》《巴比伦语言学》等等。
在防空洞隔离期间用写交代信的纸和笔写出132页的《狱中手稿》，约65万字。他自说这些手稿“并非就是一件文学作品，它也非书法绘画符码谶图，别的艺术以其是什么而入品类，此手稿却以非什么而取自立，它宁系属于视觉艺术的宽泛范畴，在既成的有定义的艺术门类中，似乎未有与之同性质的例子”。《狱中笔记》因其内涵的丰富性，一直为世人所关注。
木心《狱中笔记》手稿
第三次
1978到1979年，木心又一次遭遇软禁，这是第三次被限制人身自由。虽然在现实世界里身在囹圄，但是他说在艺术世界里心是无限自由的。入狱期间，他白天劳动；而一到晚上，他就趁其他人都睡下后，悄悄绘制了33幅动人心弦的小幅山水画。这些作品已经成为耶鲁大学博物馆的典藏品。
木心画作
木心一生钟情于音乐，少年时学过钢琴，中学又当过音乐老师，亦会作曲。他说“文革”时期写交代，“写到自己伤心的事，要发疯。我苦中作乐，用写交代的纸作曲”。在木心现存的音乐手稿中，有不少创作于“文革”时期。
木心音乐手稿
1982年离开中国后，专心从事美术及文学创作。1983年，“林肯中心”举行木心水墨画展。1984年，哈佛大学举行彩墨画展、收藏仪式。2002年，举办“木心的艺术”大型博物馆级全美巡回展。期间出版了16本小说、散文和诗集。散文集《琼美卡随想录》、《散文一集》、《即兴判断》、《素履之往》、《马拉格计画》、《鱼丽之宴》、《同情中断录》，诗集《西班牙三棵树》、《巴珑》、《我纷纷的情欲》、《会吾中》、《伪所罗门书》，小说集《温莎墓园日记》。目前仍有大量遗稿、片段和俳句尚未出版。木心的画作被大英博物馆收藏，是20世纪中国画家中第一位有作品被该馆收藏的。他的文学作品与美国作家福克纳、海明威的作品一道被收入《美国文学史教程》。木心也在台湾和纽约华人圈中被视为深解中国传统文化的精英人物和传奇式大师。