「拓大総長時代」から一段と緊密に
四元は、政治家のブレーンとして活躍するいっぼうで、事業家としての道も歩みはじめる。昭和三十年八月、三幸建設の代表取締役に就任。
じつは、この会社は、獄中で四元といっしょであり、ともに山本玄蜂老師を師と仰ぐ田中清玄が経営していた。が、赤字つづきであった。
四元が社長に就任してからの三幸建設は、農業土木の会社ゆえにとくに農林省に食い込み、安定成長をとげている。五十九年度六月期決算では、百三十五億円の売り上げをあげている。従業員数約三百名。
四元は、政界では、緒方につづいて吉田茂と深い仲になっていく。
永淵一郎の記憶によると、昭和三十年代のはじめ、吉田茂が四元に言った。
「四元さん、あなた、草相撲の横網じゃ駄目ですよ。どうせ相撲をとるなら、プロにならなきゃ」つまり政治のアマチュアでは駄目だ、と吉田が言ったのである。
「とりあえず、防衛庁長官は、どうだろう？」そう言って吉田は、四元を誘った。
当時は、民間人をずいぶん大臣に登用していた。
結局、四元はこの話を蹴った。
しかし、四元は、あくまで外にとどまり、吉田にたとえば次のようなアドバイスをしつづけたという。
「角栄は、駄目です。金は持ってくるけど、人間的には信用できません。児玉誉士夫とか、ああいう連中に接してはいけません」
さらに吉田と四元の二人の関係の探さを語る、興味深い話がある。
日本が、六〇年安保と三池争議で激動しているころのことである。吉田が、わざわざ、パリに四元を呼びつけ、こう言った。
「岸のつぎの総理を、池田勇人にしようか、佐藤栄作にしようか考えあぐねている、おまえ、どっちがいいと思う」
四元は即座に答えた。
「それは、池田でしょう」
結局は、彼の言ったとおりになった。
それほど吉田は、四元を信頼していたと言える。
それでいて、四元は佐藤とも仲がよかった。
佐藤栄作のところへは、四元は、かつての血盟団事件の仲間北原勝雄といっしょに何度も行った．佐藤は、ざっくはらんな人物で、四元とはなんでも胸襟を開いて話していた。
「四元は、池田とは、なお深い繋がりを持っていましたね．政策的なアドバイスもしていました。大平正芳なんて、池田の秘書でしたから、四元さんには丁重に接してましたよ。大平は、四元さんには対等以下で話していた。それが中曽根になると、先生だからね」（北原勝雄）
中曽根と四元の交わりが一段と緊密になったきっかけは、昭和四十二年四月、中曽根の「拓殖大学総長に就任」であった。
かつて拓大理事長であった西郷降秀の秘書をしていた柴垣昭人（全国飲食業事業協同組合連合会会長）によると、中曽根が、四元に頼んだ。
「ぜひ、総長をやらしてください」
中曽根は、そのあと、理事長の西郷隆秀に、総長をやらせてくれるよう頼みに行った。西郷降秀は、西郷隆盛の孫にあたる人物である。
中曽根が拓大総長兼理平長に就任すると同時に、四元も理事の一員に加わった。
中曽根は、拓大関係者に四元を「この人は、わたしの人生の師です」と紹介して歩いている。四元もまた、まわりの者にその当時からハッキリ言っている。
「こいつは、総理になる男だ。いや、総理にしてみせる。やつには、それだけの力がある」
中曽根は、四元をご意見番に置いた。