こちらへの損害というのは、損害賠償という意味でしょうか。
労基法16条では「損害賠償額を予定する契約をしてはならない」となっています。
つまり賠償前提での労働契約はダメということですね。
一方で、なんでもダメというわけではありません。
例えばあなたが特殊な資格を持っていて、それを前提に1000万円の機材を購入したとします。
それであなたが辞退すると、せっかく購入した機材が無駄になりますよね。
しかも他に有資格者はいないし、そういう人を採用するのも大変。
この場合は損害賠償を求められることはあるでしょう。
ま、滅多にないでしょうけどね。