事務職が女性しかいないというのは、あなたの勘違いです。
一般職は女性しか採用されませんが、総合職は女性より男性の方が多いです。
そして、以前は一般職が担っていた定型的な業務は、近年は派遣等の非正規への置き換えが進んでいます。
そのため、非正規を含めれば女性も多いかもしれませんが、正社員に限れば男性の事務職の方が多いと思います。
実際、私は大手住宅メーカー子会社(従業員1150人)の事務系総合職ですが、私の部署では3分の2が男性です。
4月から異動になる部署では8割が男性だそうです。
事務職に性別は関係ありません。