白天，祖父可以在门口走动一下。他最爱走到离住所十几步远的一个山嘴去眺望通过息烽的公路。一到夜间，便不准他出门，只能在屋内活动。他在贵州关了八年，一个排的宪兵和一个二十多人的特务队，日夜在那儿看守，这比对张学良的关注度高得多。后来到了重庆，这批人又全部跟着到了重庆。
1938年10月，戴笠亲赴贵州视察对张学良和祖父的关押情况后，给蒋介石发电报：
二十七年十月十四日
戴笠
生于八日离渝往息烽晤虎城，修文访汉卿，各处警备颇密。
张杨情况就表现观，杨仍好谈外交及政治；张则兴致所致对政治也多议论，张之情绪较佳，杨不免苦闷，而杨妻近似稍患神经但无妨。
对于看守祖父的工作，蒋介石曾再三叮嘱戴笠不可大意。1940年戴笠又亲自往息烽布置一番，便衣特务看守更加严密。
到1945年，日本投降的消息传到息烽，人们都很高兴。祖父也希望抗战胜利以及八年的时间能够减少蒋介石对他的仇恨，给他自由。当时就连一些特务也都这样认为，因此对祖父的态度也有改善。
1946年春天，在全国政治协商会议上，中国共产党提出了释放张学良、杨虎城、罗世文、车耀先等政治犯的要求。蒋介石表面上不反对，但是暗地里赶忙下令杀了罗世文、车耀先，同时对中共谎称早已处决了；张学良被秘密押送到台湾；祖父一家和两位副官也被移到重庆特区的一个秘密处所——杨家山——继续关押。
这时，祖父对自由的希望全失，情绪很低落。在1947年，因为关押而精神失常的谢葆真含恨去世。在长期的迫害下，我祖父情绪变得很低沉，身体也消瘦下来，不久就病倒了。
1948年秋，祖父患了严重的胆结石，住院做手术。在祖父生病住院期间，保密局都有电报向蒋介石报告病情，这些电报也都保存在台湾“国史馆”中。
祖父住院期间有位医生姓张，在给祖父治病时偷偷地把从报纸上看到父亲在延安的消息告诉了祖父；祖父也把戴笠他们的几次劝降，要他承认错误就可获得释放的事告诉了张医生。
在李宗仁代行总统后，曾在1949年1月24日指示顾祝同释放拘押的张学良和祖父。但蒋介石坚决反对释放。毛人凤、徐远举等人决定把祖父先转到贵阳。徐远举在劝杨转移时，祖父曾大发脾气说：“李代总统要释放我，你们为什么还要把我转移地方？我不是小孩，今天转这里，明天转那里，我不走！我要死就死在这里。”
后请来了国民党保密局西南特区少将副区长周养浩劝祖父转移，周养浩说：“蒋总裁认为如果现在由李宗仁把你释放，你就更加恨他了，所以他想把你暂时移往贵阳，不久将会把你送往台湾，然后和张学良一起释放。”于是祖父就在周养浩的陪伴下专机转往贵阳，又在贵阳的麒麟洞住了近七个月。
周养浩就是蒋介石屠杀的执行者，当时是毛人凤到重庆传达蒋介石命令，要处决祖父。执行以两个人为主，一个是徐远举，一个是周养浩。周养浩还亲自到贵州，说服祖父到重庆。本来祖父关押在贵州，但在贵州暴露了。麒麟洞是贵阳市的一个自然公园，本身地点就很引人注目，祖父在此被关六个月后，当地一些人就知道祖父在贵州了。蒋介石要杀祖父，而且要秘密杀害，如果在贵州杀了祖父，不免让人认为是政府行为，但在转移中杀了，就可以说成是被土匪杀了或是被共产党杀了。
1949年8月24日，蒋介石亲自从广州飞抵重庆召开会议，决定了要在重庆把祖父和其秘书宋绮云两家六人秘密杀掉。
为什么杀害杨虎城
8月27日，毛人凤在重庆罗家湾交警旅长何龙庆的公馆召集徐远举、周养浩开会，密谋杀害祖父等人的计划；同时布置周养浩到贵阳，负责将祖父一行押回重庆。
9月1日，周养浩到贵阳麒麟洞，骗祖父到重庆晋见蒋介石，然后转押台湾。对特务们这一举动，祖父也是心怀疑惑，但他没想到蒋介石要杀害他。当他离开贵州，刚到重庆，连坐都没坐，进了屋子就被杀了。共产党和国民党的大部分人都不知道。因为执行屠杀令的除了高层知道（徐远举、毛人凤、周养浩），刽子手并不知道。他们只知道杀的是个姓杨的。这些人大部分没有和祖父接触过，只有祖父在贵州关押的队长张鹄知道被害者是谁。
原国民党西南长官公署第二处处长兼西南特区区长徐远举在1968年接受审讯时交待：“1949年，李宗仁宣布释放杨虎城、张学良将军，杨虎城在磁器口。我立即将杨虎城用空军飞机送往贵阳黔灵山避风，再运回重庆将其杀害。”
