한국에서 '영어 하세요?'라는 표현은 혼란스러운가요?

한국에서 영어를 할 줄 아는지를 물어보려고 할 때, '영어 하세요?'라는 표현을 사용하고 있습니다. 하지만 이 표현을 사용할 때마다 상대방이 혼란스러워하는 것 같습니다. 예를 들어, 강남의 카페에서 점원에게 이 표현을 사용했을 때, 상대방은 '영어?'라고 되묻곤 했습니다. 이후 제가 '한국말 조금 해요'라고 말해야 상대방이 이해하는 경우가 많았습니다. 혹시 다른 외국인들도 비슷한 경험을 하셨는지 궁금합니다. '영어 하세요?'가 왜 이렇게 이해하기 어려운 표현인지, 또는 더 자연스러운 표현이 있는지 조언을 구하고 싶습니다. 이 표현을 사용하는 데 있어 어떤 점을 개선할 수 있을까요? 혹시 경험이나 조언이 있다면 공유 부탁드립니다.