義理の両親のことで婚約破棄を考えています

婚約者と結婚するか迷っています。

20代後半です。付き合って数年、同棲もしています。
彼は優しくて、私のことを大切にしてくれる人です。一緒にいて落ち着くし、今まで大きな不満はありませんでした。

ただ、結婚の話を進める中で、彼のご家族との関係で悩んでいます。

結婚後の姓について、私は自分の姓を残したい気持ちがありました。彼はどちらでもいいと言いつつ、ご家族のことを考えると自分の姓を希望している感じでした。

そこで、2人で公平な方法で決めたいと話したところ、彼の親御さんが強く反対しました。

その後、彼から「親がかなり感情的になっていて、『相手がこちらの姓に合わせる気がないなら、結婚自体やめた方がいいのでは』というようなことを言われた」と聞きました。

彼自身は親の発言に怒っていて、私を責めているわけではありません。私の気持ちも理解しようとしてくれています。

でも、結婚前からここまで揉めたことで、これから義両親として関わっていくことに不安があります。

彼のことは嫌いではありません。むしろ大切にしてくれたことには感謝しています。
ただ、「彼と結婚する」というより「彼の家族とも関わっていく」ということを考えた時に、ずっと苦しい気持ちを抱えるのではないかと思っています。

この状況で婚約解消を考えるのは早いでしょうか？
客観的な意見を聞きたいです。