在韩国，“영어 하세요?”这个表达会让人感到困惑吗？

在韩国询问对方是否会说英语时，我使用“영어 하세요?”这个表达。然而，每次使用这个表达时，对方似乎都感到困惑。例如，当我在江南的一家咖啡馆对服务员使用这个表达时，对方常常会反问“영어?”。之后我需要说“한국말 조금 해요”，对方才会理解。 我想知道其他外国人是否也有类似的经历。为什么“영어 하세요?”这个表达如此难以理解，或者有没有更自然的表达方式？在使用这个表达时，我可以改进哪些方面？如果有经验或建议，请分享一下。