退職の意思を伝え、退職日までに年次有給休暇の消化を希望したら、
年次有給休暇を消化すると退職金が支払われなくなると言われた場合、
労働基準法に違反しないのでしょうか。

明確な法律違反とは言い切れないですが、黒に近いグレーゾーンと考えられます。

退職金については、会社の裁量で減額や不支給の規則を定めることができますが、
この場合は年次有給休暇取得による不利益取扱いを禁止した労働基準法に違反する
可能性が高いと考えられます。
年次有給休暇を消化すると退職金が支払われないから年次有給休暇の取得を断念
するだろう、という意図が分かります。
労働基準監督署に問い合わせを行ってみるといいかもしれません。