来週の月曜日から人材会社から派遣でとある企業に働くことになりました。

Question

来週の月曜日から人材会社から派遣でとある企業に働くことになりました。人材会社に正式に内定を頂いたのは、今月です。しかし、今日派遣先の連絡が人材会社から来て、その後体調が優れないです。3日前だと人材会社の内定自体を断ることは、できないですか？

※このまま月曜日を迎えてしまうと、もっと体調を崩してしまい、派遣先の会社と人材会社(正社員)に迷惑をかけてしまい、心配です。
できれば、全て断りを入れ、もう少しじっくり転職先を考えたいと言う気持ちが強くなってしまいました。自分の意見を尊重するとどうしたら良いですか？(過去に前職で鬱経験があります。)また、辞退の連絡をできる場合は人事担当に直接正直な気持ちを言うしかないですよね？