又作には男ばかり七人の子があった。長男又一郎（ミヨシ油脂初代社長）以下、作二郎（旧制第四高等学校在学中に病没）、信三（吉村本家に養子）、四郎（フランスへ留学するが病弱で帰国後若死に）、五男・栄吉（マリンフード初代社長）、六郎（ミヨシ油脂）、七郎（又作の法定相続人、後にマリンフード常務）。
　いずれも実母はノブだが、大正三年六月、四十八歳で病没した。明治二十年二十一歳で長崎から又作に嫁して二十七年間、病気がちの体質であったが、事業専一の又作のために、嫁の内助の功で辛苦を尽くしてきた。

　物欲に淡かったが、伸び行く家業の姿と、七男子の母としての自覚に満足していたかも知れない。「少くともこれ以上の緊張は却って彼女の欲するところではなかったと考えられるほど、じみな温和な性格の持主であった」。と書く栄吉の文章に母への愛が深く滲み出ている。
　又作は大正五年三月、京都出身の三浦イサミと再婚。又作五十九歳、イサミ三十九歳だったが、大正九年「スペイン風邪」に罹って急逝した。
　大正十一年四月、長崎出身の久保サヲと再々婚。又作六十五歳、サヲ四十五歳であった。いずれも子は成していない。

　昭和十二年十月、栄吉が兄弟で唯一戦時召集令状を受けて、目黒の軽重兵第一大隊自動車隊に入隊し、昭和十四年召集解除を受けた。更に栄吉は、昭和十八年四月より十九年三月まで二回目の召集を受け、中国満州へ渡っている。
　この間、又作は昭和十五年二月二十九日加答児性肺炎で八十三歳の生涯を閉じた。死別の立ち会いは、サヲ、信三、栄吉、六郎、七郎であった。又一郎は二～三時間の差で間に合わなかった。遺言で嗣子は七郎となった。葬儀は吉村石鹸工場と未亡人サヲの牛込側と、又一郎のミヨシ化学興業の合同葬儀がとり行われた。遺骨は青山墓地に鎮った。
　昭和三十一年二月、又作十七回忌に際して栄吉が一文を献じている。
「明治二十一年独立して吉村石鹸工場をはじめ、工業用石鹸たる所謂マルセール石鹸の製造に肝胆を砕いた。業績次第に進展し、各種博覧会、展覧会等に於て出れば必ず受賞し、国内各織物産地に於て吉村石鹸の名を知らざるものなきに到り、業界の先覚耆宿と目された。没する迄、賀寿隠居せず倒れて止まずの信念を以って、病無ければ毎日早朝より邸内の工場に出勤して決して怠らなかった」。

　又作と長男又一郎との確執について、栄吉は深く書き残していない。ただ「又作と又一郎の気質の相違、又作と又一郎夫妻の話合い不足による不和と、経営上の意見の相違と言ったものが絡み合って別離となったものと思われる」と書くのみである。
　続いて「両者の融和は、色々仲介する人があったにも拘らずついに実現せず、事業上の最適の後継者は、別に三木巳之吉とともにミヨシ油脂（株）を創立して隆々の勢を成し、さらに一段の飛躍をなさんとする際、父とも死別に遭った」と書く。
　又一郎は明治二十一年に又作の長男として産ぶ声をあげ、蔵前工業高校（現東京工業大学）を卒業。しばらく吉村石鹸工場を手伝っていたが、別れて大正十年三木氏と共同で「ミヨシ石鹸工業（現ミヨシ）」を設立し昭和二十三年まで二十七年間社長を務めた。別に個人会社吉村商店（現吉村油化学）を設立している。後年、これがマリンフード創立の発端となる。

　又作の死後、栄吉が社長となるが、一年後栄吉は退任し、後は弟六郎、七郎が継ぐ。一年後栄吉は大阪にある又一郎の個人会社吉村油化学研究所に専務として赴任する。 　何故一年で社長を退き大阪の又一郎の会社へ去ったのか、栄吉は何も書き残していない。以下は筆者のただの推測に過ぎない。
　栄吉は「最適の後継者は又一郎」と書き残している。吉村石鹸工場をミヨシ石鹸工業か大阪の吉村商店に合流すべきだ、との意見を提案したのではないだろうか。

　しかし、弟六郎と七郎はそれまでの又作と又一郎の反目を見ていて、又作の意に反すると反対した。 意見の一致を得られず、栄吉は退任した、そのことを知った又一郎が、栄吉を大阪の責任者として赴任させた。又一郎にとっても好都合だ。
　事実がどこにあるか、今となっては全く不明である。
栄吉は、退任した段階では大阪へ行くなど思いも寄らず、文学に生きる覚悟をしたのではないだろうか。東京大学文学部支那哲文学科を卒業しているが、水戸高校、大学時代を通じて同人雑誌に参加し、文学に傾倒していた。仲間には船橋聖一（小説家）、土方定一（美術評論家）、伏見猛弥（教育学者）や目加田誠（九州大学名誉教授、平成元号諮問委員で「修文」を提出）がいた。

　後年栄吉は次のようなことを書いている。
「今から三十年ほど前（三十歳の頃）、私は売ト者に占ってもらったことがたった一度ある。その頃私は、実業界に引き続いて身をおくべきか、文学の世界に転身すべきか真剣に悩んでいた。そのことをいうと彼はしきりに筮竹を動かした末にいった。『あなたは両方ともおやりなさい』。この言葉を私は忘れることができない。大げさに言えば、私のその後の進路をきめてしまったのは、この後にも先にもただ一ぺんみてもらったみすぼらしい売卜者の一言であったともいえる」。
　栄吉の退社二年後、吉村石鹸工場は廃業となる。その経緯について栄吉は「石鹸工場は昭和十八年夏頃、企業整備の時期にあって自発的に廃業し、六郎、七郎は他の従業員とともにミヨシ化学に入社した」。と書くのみである。　
　その後吉村石鹸工場は、昭和二十年四月、アメリカ機の波状焼夷弾攻撃によって猛炎に覆われ、工場建物は鳥有に帰した。
　栄吉は書く。「私はその翌々六月上京の折にその焼跡を訪れ、ここに生まれ、ここに育ち、ここに生活した十年前、二十年前、あるいは四、五十年前を追想し、破壊された庭園跡の一隅に立って、交々起る追憶と幻想に、暫く低廻去るに忍びなかった」。

（栄吉「吉村又作伝」「空想屋右三郎」より）