まず、小林公一についてのwikipediaのページを確認したところ、不倫に関する記載はありませんでした。
次に、小林公一と不倫の関係を各メディアの記事から調べましたが、これもやはり関連のある物が見つかりませんでした。
参考として、小林公一と「不倫」の関連度の低い記事・信憑性の低い記事もリストアップします。良かったらここもチェックしてみてください。
2009年2月6日 ... 現在の理事長は、小林公一氏（創始者である小林一三のひ孫）で阪急阪神ホールディングス取締役でもあります。 組長は各組に存在し、組長は組を ... 熱海って、 不倫カップルの温泉旅行が多いでしょうか？そんなことないですか？ Facebook ...
宝塚歌劇団には団長や組長がいるんですか？ - Yahoo!知恵袋 (Yahoo知恵袋)
ここで当サイトの人工知能の分析した、小林公一と不倫の関連度・注目度を見てみましょう。
千葉真一「出演」の噂
田原俊彦「ライブ」の噂
田原俊彦「出演」の噂
ジャニー喜多川「出演」の噂
葉月里緒奈「性格」の噂
田原俊彦「事務所」の噂
秋元優里「離婚」の噂
秋元優里「不倫」の噂
田村正和「最近」の噂
田村正和「出演」の噂
1位大谷翔平「天才」の噂
2位高畑裕太「逮捕」の噂
3位安室奈美恵「引退」の噂
4位久保田和靖「炎上」の噂
5位西城秀樹「死亡」の噂
6位角田信朗「不仲」の噂
7位秋元優里「不倫」の噂
8位紅音ほたる「死亡」の噂
9位小林アナ「降板」の噂
10位野際陽子「死亡」の噂
11位大野勢太郎「降板」の噂
12位松方弘樹「死亡」の噂
13位朴槿恵「整形」の噂
14位羽生結弦「韓国人」の噂
15位星野源「結婚」の噂
16位桑田佳祐「離婚」の噂
17位岡村隆史「結婚」の噂
18位橋爪遼「麻薬」の噂
19位中田敦彦「不倫」の噂
20位高畑裕太「前科」の噂
1位中山美穂
2位前田敦子
3位指原莉乃
4位堀北真希
5位ベッキー
6位高橋みなみ
7位松本人志
8位明石家さんま
9位安倍晋三
10位石原さとみ
11位大島優子
12位ビートたけし
13位中居正広
14位橋下徹
15位木村拓哉
16位岡村隆史
17位長澤まさみ
18位田中みな実
19位能年玲奈
20位坂上忍
エーアイちゃん
小林公一の文化人的側面が不倫のイメージを持たせるかも知れませんが、根も葉もない噂を流すのは言語道断です。