あまり相手を傷つけない断り方のアドバイスを下さい。

Question

あまり相手を傷つけない断り方のアドバイスを下さい。今の会社に入社して4年目に入ります。
入社当時からやたら構ってくる他部署の部長(既婚者60代)がいるのですが
(昼ご飯(夜ご飯)に行こうと誘ってきたり、
休みの日に釣りに誘ってきたり※他にも数名居ます、
会社の他の若い人も何人か誘ってﾎﾞｰﾘﾝｸﾞに連れて行ってくれたり)
もちろん有難いことですから感謝してますし、実家に戻った際はお土産を買ってきます。
ただ私としては構ってこないで欲しいのが正直なところでして・・・
ただ他部署といえ仕事で関わる事もありますし邪険にも出来なくて困っています。
楽しければいいのでしょうがこの部長自分の話ばっかりで人の話を全然聞かない。
それだけならまだ我慢できたのでしょうが社内行事の花見、社員旅行の時に
勝手に待ち合わせ時間を決めて集合場所に一緒に行きたがるんです。
例えば
部長 「○○時集合だから△△駅に××時でいいか？」
私 「え、あ、はい・・」 ←断る理由が見つからない。。。
ある時は
部長 「○○時集合だから△△駅に××時でいいか？」
私 「いえ、私早めに行って遊んどきたいんで！！」 ←ホントの事で遠まわしに断ってる
部長 「早めってどれくらいに行くんだ？」
私 「そうですね～1時間くらい早めに行こうと思ってます（笑」
部長 「ぢゃぁ、合わせて早く行ってやるよ。電車の時間は調べてまた後で連絡するから」
私 「はぁ」 ←何て言ったらいいのやら。。
またある時は
部長 「○○時集合だから△△駅に××時でいいか？」
私 「いや、○○さん（仲のいい女子社員）と一緒に行くんで」 ←嘘。
部長 「おう、一緒でいいよ。じゃぁ、○○に××時に待ち合わせって伝えといて」
私 「・・・・・・・」 ←・・・・
最初の頃ご飯の誘いに喜んで応じていた私が悪いし、
その後もはっきり断れない自分が悪いとは思いますが
どう断っていいのかわかりません。散々書いてますが、
ちゃんと距離を保っていれば普通にいい部長さんです。
本人は良かれと思ってしてるみたいなので
（移動一人じゃさみしいだろうからみたいな）
あまり傷つけずに断りたいのですが何か良い断り方ありませんでしょうか？

長々とすいません、よろしくお願いします。

補足

回答して下さったお二方ありがとうございます。
ちなみに私は20代前半の女です。

Answer 1

自分の言いたいことは言わないと、
相手はよかれと思い・・・
って言うか男は図に乗る生き物
私用で直接自分で現地に行きますから
気にしないでほしいと伝えるべき。

頑張って一回言ってしまえば大丈夫ですよ。
頑張って

Answer 2

大変ですね。
悪い人じゃない分、はっきりといいにくいかも知れませんね。

一つの案は、うまく第３者を使って、部長に伝えてもらうというのはどうでしょうか。
質問者さんと、その部長の間の役職の方や年齢の近い方はいらっしゃらないですか？
もしいれば、その方に相談して、うまく話をしてもらうというのはどうでしょう。
たとえば、
「部長、あまり強引に社員を誘ったりしたら、パワハラになるご時勢ですよ。いくら
業務終了後と言っても、会社のメンバーで上下関係のある人間が集う場所では
業務の延長として見なされますよ。」ってな感じでいかがでしょうか。

Answer 3

あぁうざい
集合場所決められそうなら、
私は先に寄るとこあるから時間通りに現地集合します、
で解決しませんか?

Answer 4

一番気になるのは60過ぎて、いつまで会社に居るのかですよね、役員で定年なしなのかそれとも65で定年なのか、いつか聞いてみては如何でしょう意外良い答え返って来るかもしれませんよ。しかし男だったら上手くやれば出世コースかもね。部長の誘い減らす方法有ります、彼氏が出来て今ラブラブーなんですよ～部長に話せばよいのです男に娘取られたと思うまで永遠と話して下さい。こんど誘いが有った時今日ちょっと用事がと話せば・・・・彼とデートか・・と・・帰って来ます・・はいと答えれば良いのです。