ชาวเลในภูเก็ตแบ่งออกเป็น 3 กลุ่มใหญ่ๆ ด้วยกัน คือ กลุ่มมอเก็น, มอเกล็น กับ กลุ่มอูรักลาโว้ย โดยกลุ่มมอเก็นยังแบ่งเป็นกลุ่มย่อย ๆ 2 กลุ่มตามถิ่นที่อยู่อาศัย คือ มอเก็นปูลา ที่ลอยเรืออยู่ตามเกาะมะริด (Mergui Archipelago) และชายฝั่งในประเทศพม่า ลงมาถึงบริเวณเกาะในจังหวัดระนอง หมู่เกาะสุรินทร์และหมู่เกาะสิมิลัน ในจังหวัดพังงา และกลุ่มมอเก็นตามับ ซึ่งอาศัยอยู่ตาม เกาะพระทอง อำเภอคุระบุรี จังหวัดพังงา ตลอดจนแถบชายฝั่งของอำเภอตะกั่วป่า อำเภอท้ายเหมือง จังหวัดพังงา และอำเภอถลาง จังหวัดภูเก็ต ส่วนพวกกลุ่มมอเกล็น อาศัยอยู่บริเวณแหลมหลา จังหวัดภูเก็ต ท้ายเหมือง และตะกั่วป่า จังหวัดพังงา ส่วนอีกกลุ่ม คือ กลุ่มอูรักลาโว้ย เร่ร่อนอยู่บริเวณเกาะสิเหร่ หาดราไวย์ แหลมหลา บ้านเหนือ บ้านสะปำ ในจังหวัดภูเก็ต
และบริเวณที่นักท่องเที่ยวพบเจอชาวเลในจังหวัดภูเก็ตได้บ่อยนั้นอยู่ที่ราไวย์ อีกจุดหนึ่งคือ ประมาณ 8 กิโลเมตรทางตอนเหนือของตัวเมืองภูเก็ต ที่บริเวณสะพานหิน และ เกาะสิเหร่ เมื่อไปถึงบริเวณนั้นได้จะต้องข้ามสะพานเชื่อมจากเกาะภูเก็ตไปเท่านั้น แต่ในปัจจุบันนี้ชาวเลส่วนใหญ่ตั้งถิ่นฐานถาวรอยู่บริเวณชายฝั่งหรือบนเกาะแต่ยังยึดอาชีพที่เกี่ยวข้องกับทะเลอยู่ เช่น ดำน้ำหาหอย ทำลอบหรือลงอวนดักปลา และรายได้อื่นๆ ส่วนมากมาจากนักท่องเที่ยวที่เข้าเยี่ยมชมหมู่บ้านของชาวเลเอง