芯が一方に片寄ってしまったり、斜めに通ってしまったりして、真直ぐに通ることが滅多になく、通ったと思うと中で何か所も折れていたりした。こうして作れば作るほど材料を使うばかりで、売れる鉛筆ができない。芳松は鉛筆製造のために抱えた借金を返済できず、家財から工場までの一切を差し押さえられてしまった。店は大混乱で、職人や徒弟たちはこの時にほとんど辞めてしまった。最後まで残ったのは徳次と、2人の兄弟子たちの3人だけだった。
芳松は北二葉町にいることができなくなり、知り合いから借りた中ノ郷竹町35番地(現東駒形1丁目付近)の裏長屋に引っ越す。そこで一から出直すという芳松に、3人は引っ越しの手伝いを申し出た。北二葉町から半里(約2キロ)ほど北の中ノ郷竹町までの引っ越しは、運ぶ物もほとんどないので、すぐに終わった。今までと同じ本所だが、だいぶうらぶれた町という印象を徳次は持った。
芳松は3人に引っ越しの礼を言うと「俺はもう店を閉めたも同じだ。この先、お前達がいても将来の見込みはありそうにない。付いてきてくれる気持ちはありがたいが、構わねえから、これからお前達はいい所へ行って出世してくれよ」と別れを告げた。
徳次は初めから芳松について店にどこまでも留まる決心だ。2人の仲間にも前もって意見を尋(たず)ねてみると、2人とも同じ気持ちだった。3人は芳松から離れない約束をしていた。2人の兄弟子達が黙っているので徳次が芳松に言った。
「3人で相談しましたが、よそへは行きたくないんです。みんなでどうにか仕事もできますから親方に面倒はかけないと思います。みんな親方の傍(そば)にいたいんです」
3人の申し出に芳松は感激し、勇気も湧いたようだった。それでは一緒にもう一度やり直そうということになり、洋傘の付属品製造に返った。