한국에서「영어 하세요？」という表現は混乱を招くことがありますか？

韓国で英語を話せるかどうか尋ねるときに、「英語ハセヨ？」という表現を使っています。しかし、この表現を使うたびに相手が混乱しているようです。例えば、江南のカフェで店員にこの表現を使ったとき、相手は「英語？」と聞き返してきました。その後、私が「韓国語を少し話します」と言わなければ、相手が理解することが多かったです。 他の外国人も似たような経験をしたことがあるのか気になります。「英語ハセヨ？」がなぜこんなに理解しにくい表現なのか、またはもっと自然な表現があるのかアドバイスを求めたいです。この表現を使う際にどのような点を改善できるでしょうか？もし経験やアドバイスがあれば、共有していただけると嬉しいです。