1924年11月5日，冯玉祥将军派鹿钟麟部队进宫，把溥仪赶出了紫禁城，宣布废除皇帝尊号，皇室优待条例也同时宣告废除。此时国内外的形势也发生了变化，各地的“旗地”开始变为“民地”，17世纪清朝入主中原占据的土地一律归还原主。川岛浪速所依赖的肃王爷去世了，他再也不能以善耆的名义向日本政府伸手要钱了。川岛浪速变成了无所作为的布衣浪人。他的双耳开始失聪，最后到了只能用笔进行谈话的地步。他为他疯狂、自大、无耻、下流的行为付出了高昂的代价。
川岛浪速把旧宅卖了，告别浅间温泉区“茑之汤”，逃离那所给他留下难堪记忆的住宅。川岛浪速在松本市天白町租赁一处房舍，准备重新安排自己的生活。川岛芳子是川岛浪速和善耆一家保持联系的纽带，但是被他亲手割断了，现在他需要建立一个新的纽带。
1925年春，川岛浪速把宪章的次女廉铝接到松本，收为养女，廉铝更名川岛廉子。廉子在川岛浪速家是川岛芳子的妹妹，她俩同为川岛浪速的养女，在肃王家川岛芳子是川岛廉子的姑母。
12岁的川岛廉子来到松本后，川岛浪速在黑姬山买了一块荒地，在那里建造名叫玄牝庵的山庄别墅。黑姬山四周景色优美，位于现今的长野县上水内郡信浓町，附近有野尻湖，池尻川，还有多处温泉和滑雪场。川岛浪速的山庄坐落在一座山丘上，周边没有邻舍。川岛浪速的玄牝庵山庄，是他亲自设计，并亲自搬运木材和石头建成的。
