分野が全く異なるので何とも言えませんが、体感的には、同じくらいと考えます。
(初心者の勉強時間のイメージが日商簿記3級ですと50時間~100時間、ITパスポートですと30時間~100時間)
ただし、IT系の資格は、同じ初心者でも、ITへの適性で大きく難易度は変わる傾向にあります。特にITアレルギーの人にとっては、ITパスポートの方が難しいと感じる人がいると考えます。逆にITに関するニュースや記事を見聞きして、頭にスッと入ってくる人にとってはITパスポートのほうが易しいと感じる人もいると考えます。