ドアノブをガチャガチャされた

インターホンのないアパートで暮らしています（１人暮らし）。
その日は荷物が配達される予定で、前もって時間指定にしていたのでその時間はずっと家にいました。

急にお手洗いに行きたくなり、行っている時にチャイムが鳴り、慌てていると（30秒ぐらい？）、ドアノブをガチャガチャされてびっくりしました。

ドアの覗き穴を見ると荷物を持った制服を着た、いつも届けてくれる人だったので開けて荷物を受け取りました。
ガチャガチャしたことについて何も言われず、その方はいつもめっちゃ愛想が良くて腰の低い人だったので、「え？でもいつも丁寧な方だし…」と思いながら荷物を受け取りました。

その時間帯にすぐ出られなかった私が悪いのはもちろん悪いのですが、ドアノブをガチャガチャされてかなり怖かったです。
私が鍵をかけてなかったら開けて勝手に入るつもりだったの？とか思います（でも、印鑑がいる荷物なので勝手に置くのはできない荷物です）。
Amazonじゃないので置き配はできないです。

その会社に意見しても、特定されそうで怖いです。
みなさんならどうしますか？