不久之后，丙吉对守丞谁如说：“皇孙不应该再在官府的监狱中，你可以写文书给京兆尹，把皇孙与胡组一起送过去。”京兆尹不肯接受，皇孙又被送了回来。等到胡组服刑期满该离开时，皇孙非常思念她，丙吉就用自己的钱雇佣胡组，让她与郭征卿一起又喂养了皇孙几个月，才让胡组离开。后来，少内啬夫对丙吉说：“供养皇孙没有诏令，也没有固定的供给。”丙吉就每月拿出自己的俸禄米和肉来供给皇曾孙。皇曾孙生病，多次差点夭折，丙吉多次告诫养护皇曾孙的乳母，让她们细心照料，还请医用药，对皇曾孙关怀备至。丙吉听说史良娣的母亲贞君和哥哥史恭还在，就用车把皇曾孙送交给他们。贞君年老，看到孙子孤苦伶仃，非常伤心，就亲自抚养他。后来，有诏令让掖庭抚养皇曾孙，并将他的名字录入皇家宗谱。当时，掖庭令张贺曾经侍奉过戾太子刘据，念及旧恩，很同情皇曾孙，对他奉养得非常周到，还拿出自己的钱供他读书。皇曾孙长大后，张贺想把自己的孙女嫁给他。这时，昭帝刚刚举行冠礼，身高八尺二寸。张贺的弟弟张安世担任右将军，辅佐朝政，他听说张贺称赞皇曾孙，还想把女儿嫁给他，就生气地说：“皇曾孙是卫太子的后代，有幸能以平民的身份得到官府的衣食供养就不错了，不要再提把女儿嫁给他的事。”于是，张贺就打消了这个念头。当时，暴室啬夫许广汉有个女儿，张贺就摆下酒宴，请许广汉喝酒。酒喝到尽兴时，张贺对许广汉说：“皇曾孙与皇上的关系很近，如今又被封为关内侯，可以把女儿嫁给他。”许广汉答应了。第二天，许广汉的妻子听说此事后非常生气，许广汉却坚持让别人做媒，最终把女儿嫁给了皇曾孙。皇曾孙因此依靠许广汉兄弟以及祖母家史氏。他向东海（今山东郯城）人澓中翁学习《诗经》，虽然很有才华，但也喜欢结交侠客，斗鸡走马，因此对民间的奸邪之事和官吏的治政得失都很了解。他多次到各皇陵祭拜，走遍了三辅地区，曾经在莲勺县（今陕西渭南市临渭区东北）的盐池中被困。他尤其喜欢杜县（今陕西西安东南）、鄠县（今陕西西安鄠邑区）一带，经常住在下杜（今陕西西安南）。
等到昌邑王被废黜后，霍光与张安世等大臣商议立谁为新君，还没有确定下来。丙吉上书给霍光说：“将军侍奉孝武皇帝，接受托孤的重任，承担天下的期望。孝昭皇帝早早驾崩，没有子嗣，天下人都忧心忡忡，希望能早日听到新君即位的消息。在发丧的时候，您依据大义拥立了新君，后来发现所立之人不合适，又依据大义将其废黜，天下人都对您心悦诚服。如今国家、宗庙、百姓的命运，都取决于将军的这一举措。我私下听众人的议论，观察他们所说的话，发现那些在列位的诸侯、宗室中，没有在民间有好名声的人。而先帝遗诏所养的武帝曾孙刘病已，现在住在掖庭外家。我以前在郡邸狱时见过他，当时他还年幼，如今已经十八九岁了。他通晓经术，有美好的才能，行为举止安详，性格温和。希望将军能仔细考虑大义，参考占卜的结果，是否可以先让他入宫侍奉太后，让天下人都清楚地了解他，然后再决定重大决策，那就是天下的万幸了。”杜延年也知道刘病已品德美好，劝霍光、张安世拥立他。
