“胡佛终身未娶,而至少从20世纪40年代开始,就有关于他是同性恋的传闻。联邦调查局的副局长同时也是胡佛的继任者克莱德·托尔森被认为是他的同性情人。
一些传记作者曾澄清胡佛同性恋谣传,特别认为与托尔森发生关系不太可能,而其他人则认为两人的恋情极有可能甚至是“确信无疑”的,还有一些人提到了谣言,却没有表达立场。胡佛将托尔森描述成他的“另一个自我”(alter ego):一个不仅可以在白天亲密无间的工作,而且可以一起吃饭,去夜店以及度假的人。两人之间极度亲密的关系常常被拿来当作两人恋人关系的证据,尽管一些了解他们的联邦调查局雇员,例如马克·费尔特(Mark Felt),说这种关系仅仅是兄弟情谊。
托尔森继承了胡佛的房产,并搬入其中,并接过了覆盖在胡佛灵柩上的美国国旗。托尔森在国会公墓(Congressional Cemetery)的墓地于胡佛的仅有数码之遥。
罗伊·科恩律师,曾在50年代协助胡佛调查共产主义者,他本人也是一个未公开身份的同性恋者,认为胡佛对自己的性欲十分恐惧,以至于不能尝试拥有正常的性生活或感情生活。据传科恩曾称穿女装的胡佛为“玛丽”(Mary)。
在其1993年的传记《官方的及秘密的:胡佛的隐秘生活》( Official and Confidential: The Secret Life of J Edgar Hoover), 安东尼·萨默斯引用了目击者苏珊·罗森蒂尔(Susan Rosenstie)的话,她称曾看到过胡佛在20世纪50年代时着异性装扮,她说曾两次见过胡佛穿着有花边的蓬松黑裙,长筒袜,高跟鞋,以及黑色鬈假发,出现在同性恋群交派对中。”