義勇隊工作から終戦工作への歩み
四元は、やがて国民精神総動貝を説く近衛文麿首相のプレーンとなる。
近衛家には、左翼も右翼も出入りできる自由な雰囲気があり、のちにゾルゲ事件に連座する尾崎秀実や、井上日召も出入りしていた。
四元は、近衛と親しい緒方竹虎のプレーンにもなった。緒方は、十七年一月に発足した大日本翼賛壮年団を指揮。締方は、四元を審判室長、五・一五事件の首媒者三上卓を組織部長、北原勝雄を組織副部長にそれぞれ据えた．彼らのような刑務所帰りを、このようにのぴのぴと活躍させたのは、緒方の肚（はら）の大きさといえよう。
四元は、終戦に向けても活躍した。
四元は、小磯内閣にかわった鈴木貫太郎首相の秘書役であった。ポツダム宣言を受諾すべきかどうか思い悩んでいた鈴木貫太郎を、山本玄峰老師にひき会わせた。
老師は、鈴木貫太郎に言った。
「負けて勝つということもある」
八月十五日、日本はポツダム宣言を受諾、終戦を迎えた。
八月十七日、東久邇宮稔彦内閣が発足。緒方は、書記官長となり、小畑敏四郎中将が、国務大臣として入閣した。
四元が、小畑中将を、緒方を通じて国務大臣として入閣させたのであった。
東久邇内閣時代、四元は、官邸に部屋を持っていた。児玉も、政府顧問という立場で部屋を与えられていた。中曽根と繋がりの濃い二人が″奇妙な同居″をしていた時期である。
ある日、児玉が、四元の部屋を見て、緒方の秘書に頼んだ。
「四元の部屋と替えてくれ！」
四元の部屋は、庭に面した広い、いい部屋だった。緒方の秘書は、さっそく四元のところへ頼みに行った。ところが、四元は、大の児玉嫌いであった。あるとき、四元家に居候をしていた早大生の宇田安男（「三省」代表取締投）の友達が、四元に訊いたことがある。「児玉誉士夫さんて、どういう人ですか？ぼく、会ってみようと思うんだけど…」
彼は、激怒した。
「つまらん男だ。くたらんやつのところへ行こうと考えるな！」
そのような四元だから、児玉の意向が伝えられると、烈火のごとく怒った。
「児玉みたいな馬鹿が、このへんをウロウロしているのを見たら、叩き殺すぞ！」
秘書は、ぴっくりした。てっきり部屋を替えてもらえると思っていた児玉は、ひどくむくれたという。