年次有給休暇をとるため希望を出していましたが、直前になって年次有給休暇を返上して働けと言われました。
これは違法ではないのでしょうか?

年次有給休暇の取得は労働者の権利です。
年次有給休暇の取得時期は労働者が自由に決めることができ、また、会社は労働者から請求された時季に年次有給休暇を取得させなければなりません。
会社側が、請求された労働者の年次有給休暇を取り消すことができるのは、「その時期に休暇を与えることが事業運営の妨げになる場合」のみです。(⇒時季変更権

「事業運営の妨げになる場合」とは、業務が忙しいからという程度の状態ではありません
例えば社員5名の会社で、仕事を行う為に最低3人の人員が必要な時に、3人の社員から年次有給休暇の取得を希望され2人しか残らない=仕事が回らないといった場合に行使できます。
(また、時季変更権は年次有給休暇を取得する日を変更するだけで、年次有給休暇の取得そのものが認められないわけではありません。)

本当に時季変更権が行使できる状態にあるのか、会社側と話し合いが必要といえるでしょう。