バイトで皿洗いをしていて、上司のおばさんに『少なくなったらこっち戻ってきて』と言われ、皿を洗ってました。皿を洗い終えたと…

Question

バイトで皿洗いをしていて、上司のおばさんに『少なくなったらこっち戻ってきて』と言われ、皿を洗ってました。皿を洗い終えたときに、次洗い物をする人のために洗い場の整理をしていたら、そのおばさんがこっちに向かって、『さっき言ったことわかってる？』と言いました。その時に自分は、『はい。このままだと次の人に迷惑なので整理してます』と言いました。そしたら何も言わずにどこかに行ってしまい、自分が整理を続けていたら、自分の横にきて、『帰っていいよ。人のいうこと聞けないならいいよ』と言われました。
こういうときって意見を述べちゃいけないんでしょうか？バイト初体験なので上司との付き合い方も熟知してはいません。帰り道、自分は正しいことをしたと思いましたが、時間が経つにつれ、自分は悪いことをしたのかと考えてしまいます。
ご回答お願いします。

補足

整理をしてから戻るつもりでした。

Answer 1

「すべて洗い終えて、後片付けを終えたら」ではなく、「少なくなったら」なので、洗い物自体すべてやる必要なかったのでは？
だからって、頭ごなしに怒るのはどうかと思いますけど。
「今度からは八割ぐらい終えたところで戻って来るようにしてね」など、言葉を変えて自分の言いたいことを伝え直せばいいだけのことなので。
でも、まあ、そういう人もいます。
あまり気にするとストレスになるので、「彼ら（彼女ら）にとって怒ることは息をするのと同じこと」とでも言い聞かせ、おいしいものを食べるとか、好きな音楽を聴くとかして、気持ちを切り替えましょう。

Answer 2

そのおばさんとは相性が悪そうだから、違うとこのバイトにしましょう。