周りからすると4日も休んだくせに飲み会だけは来るんだなーって思ったのだと思います。
事実だけ見るとその通りなので致し方ないかなと。子供の事で休むのは「あなたにとっては」当然の事なのですが、他の社員にとってはどちらかというと迷惑なんです。責めてる訳ではないので誤解しないでね。
「他の人から見たらどうだろうか」という視点を意識してみてください。
今回のケースなら、金曜日出社しても飲み会はやめておくのが正解だったと思いますよ。
そこで「まだ子供が回復してないので飲み会は辞退させてください」ならみんな納得してたでしょう。