1949年胡适决定离开大陆时劝最小的儿子胡思杜和他一起走，但胡思杜执意留下，父子就此别过。
在当时，中国正面临着传染性肺结核的广泛传播，社会落后且贫困，缺乏疫苗和有效的抗生素。尤其在寒冷的北方，青少年容易感染细菌性气管炎、肺炎或肺结核。胡适的女儿素斐因肺病去世，随后他的儿子思杜也患上了肺病。素斐去世近两年后，胡适在1927年2月5日的美洲旅行中做了一个梦，梦见了已故的女儿，醒来时泪湿枕巾。胡适写信给妻子江冬秀，表示自己是一个不称职的父亲。
他在《素斐》一诗中写道，素斐在西山养病时，看着妈妈炖好的一只鸡，期待爸爸回来一起吃：“留这支鸡，等爸爸来，爸爸今天要上山来了……”然而，当他赶到时，素斐已经去世两三天。胡适在诗中写道：“今天梦里的病容，那晚上的一声怪叫素斐，不要让我忘了，永永留作人间苦痛的记号。”这首诗是胡适最为动情和铭心的作品，也成为他“苦痛的记号”。
像大多数父母一样，胡适特别疼爱最小的孩子。保存下来的胡适给胡思杜的信件中，几乎每封信里都会催促儿子给自己写信。胡思杜小时候患有肺病，小学时期因病辍学，胡适特意请家教辅导两兄弟的学习，其中一位家庭教师是胡适的弟子、后来的著名历史学家罗尔纲。
罗尔纲曾当过小学教师，擅长管理孩子，成功地将两兄弟教育得服服帖帖。罗尔纲在教导了五年后，对胡家也有了较深的了解。在他晚年所著的《胡适琐记》中，罗尔纲特别提到了胡思杜，称他是一个非常优秀的少年：“论举止行为，他对老保姆杨妈和在家做杂役的小二亲如家人，丝毫没有阔少的架子；论天资，两天便能读完《水浒传》，还能唱郝寿臣的好戏；论思想觉悟，他在小小年纪就高喊‘打倒帝国主义’的口号，分得清是非。”
1957年深秋，台北一处幽静的庭院里，年逾古稀的胡适手捧一封从大陆辗转传来的信件，面色凝重。信中传来了他最小的儿子胡思杜在＂反右运动＂中去世的消息。这个噩耗让他久久不能平静，那个曾经和他争辩、最终选择留在大陆的儿子，就这样永远地离开了人世。
时光倒转回1949年，国共内战进入最后阶段，局势风云突变。作为著名的自由主义思想家，胡适深知自己即将面临的选择。那时的北平城内，充满着紧张与不安的气氛，许多知识分子都在为去留问题举棋不定。胡适最终决定离开，但在动身前，他特意找到了自己最小的儿子胡思杜，希望能说服这个年仅28岁的青年随他一同离开。
在父子长谈的过程中，胡适详细分析了当时的政治形势，表达了对儿子前途的担忧。然而，已经在北平大学任教的胡思杜却表现出与父亲完全不同的态度。这位年轻的大学教师坚信新中国即将带来的变革，他向父亲表示要留下来，为祖国的建设贡献自己的力量。
回顾胡思杜的成长历程，他从小就在父亲的熏陶下形成了独立思考的习惯。1949年初春，在送别父亲的码头上，胡思杜最后一次表达了自己的决心。父子二人的对话虽然简短，却包含着太多难以言说的复杂情感。胡适最终尊重了儿子的选择，但他的言语中依然透露着深深的忧虑。这一别，竟成为了他们今生的永诀。
江冬秀带着儿子匆匆离开北平，留下的仅是一些金银细软。胡思杜则独自留在北平，和他的男仆小二以及一只波斯猫一起搬进了中老胡同32号大院，成为沈从文一家的邻居。沈从文的次子沈虎雏记得胡思杜给他的第一印象：他身材高大，肤色白净，给人一种亲切感，“好像两人早已相识，完全没有拘束。”胡思杜不拘小节，第一次见面便与沈虎雏开玩笑：“小弟你尝过茅台吗？”之后从柜橱里拿出茅台让他闻，又展示了一些金条和金元宝。这些财物可能是胡适未能带走的家产，也可能是母亲留给胡思杜的。
邓广铭回忆，思杜当时不愿意跟随胡适南下。他刚从美国回到北平，对国内这几年的局势并不熟悉。思杜曾表示，自己没有做过对共产党有害的事，认为他们不会对自己采取行动。因此，胡适和夫人决定将他留下。
1949年1月，胡思杜调到北大图书馆，负责整理胡适留下的书籍。9月，他进入华北人民革命大学政治研究院学习，分到二班七组。1950年9月11日，他给在美国的母亲江冬秀写信，告诉她自己即将毕业并开始在唐山交通大学教书。信中他提到：“我从下星期起就要到唐山交通大学教书，那里有不少熟人，学生也增加到一千五百多人，一切都很安定，希望您别挂念。”信中还提到希望父亲胡适少见客，多关注身体。
1951年，胡思杜发表了《对我的父亲——胡适的批判》，并故意让其在香港的《大公报》上刊登。虽然台湾可以自由获取香港出版的报纸，胡适也看到了这篇批判文章。胡适读后只轻描淡写地说：“我本以为他没有说话的自由，现在看来他连不说话的自由都没有。”胡适在1950年的日记中曾提到，思杜有一个女朋友，现住在贵州，明春可能回来结婚。然而，这段关系并未持续太久，女孩得知胡思杜是胡适的儿子后，因怕他是战犯的儿子，决定结束这段感情。从此，胡思杜再未有过恋爱。
