ตามตำนานกล่าวว่าหลวงปู่ทวด เป็นบุตรของนายหู นางจันทร์ ซึ่งเป็นทาสในเรือนเบี้ย (ทาสทำงานใช้หนี้) ของเศรษฐีปานเกิดในรัชกาลของสมเด็จพระมหาธรรมราชาธิราช เมื่อ 3 มีนาคม พ.ศ. 2125 ณ บ้านสวนจันทร์ (บ้านเลียบ) ต.ดีหลวง (ปัจจุบันเป็นตำบลชุมพล) อ.สทิงพระ(จะทิ้งพระ) จ.สงขลา แรกเกิดมีชื่อว่าปู ขณะท่านเกิดมีเหตุอัศจรรย์คือเกิดฟ้าร้องฟ้าผ่าแผ่นดินสะเทือนเลื่อนลั่น เสมือนหนึ่งว่ามีผู้มีบุญญาธิการมาเกิด เมื่อตัดรกจากสายสะดือแล้วนายหูบิดาของท่านก็นำรกของท่านไปฝังไว้ที่โคนต้นเลียบ ซึ่งเป็นที่ตั้งของสำนักสงฆ์ต้นเลียบในปัจจุบัน
เมื่อท่านเกิดมาแล้วก็มีเหตุอัศจรรย์เกิดขึ้นกับท่านเรื่อยมา เป็นต้นว่า ขณะที่ท่านอยู่ในวัยแบเบาะในช่วงฤดูเกี่ยวข้าวบิดามารดาของท่านต้องออกไปเกี่ยวข้าวที่กลางทุ่งนาซึ่งเป็นนาของเศรษฐีปาน ซึ่งท้องนาแห่งนั้นห่างจากบ้านประมาณ 2 กิโลเมตร ที่นาแห่งนั้นมีดงตาลและมะเม่าเป็นจำนวนมากครั้งนั้นจึงเรียกว่าทุ่งเม่า ปัจจุบันตั้งเป็นสำนักสงฆ์ชื่อนาเปล ในสมัยนั้นจึงมีสัตว์ป่าชุกชุมพอสมควร บิดามารดาของท่านจึงผูกเปลของท่านซึ่งเป็นเปลผ้าไว้กับต้นมะเม่าสองต้นและก็ได้เกี่ยวข้าวอยู่ไม่ไกลจากบริเวณนั้น พอได้ระยะเวลาที่นางจันทร์ต้องให้นมลูก นางจันทร์จึงเดินมาที่ที่ปลูกเปลของลูกน้อย และก็เห็นงูจงอางตัวใหญ่หรืองูบองหลาที่ชาวภาคใต้เรียกกันพันที่รอบเปล นางจันทร์เห็นแล้วตกใจเป็นอันมากจึงเรียกนายหูซึ่งอยู่ไม่ไกลนักมาดูและช่วยไล่งูจงอางนั้น แต่งูจงอางนั้นก็ไม่ไปไหน นายหูและนางจันทร์จึงตั้งสัตยาธิฐานว่าขออย่าให้งูนั้นทำร้ายลูกน้อยเลย ไม่นานนักงูจงอางนั้นก็คลายวงรัดออกและเลื้อยหายไปในป่านายหูและนางจันทร์จึงเข้าไปดูลูกน้อยเห็นว่ายังหลับอยู่และไม่เป็นอันตรายใด ๆ และปรากฏว่ามีเมือกแก้วขนาดใหญ่ที่งูจงอางคลายไว้อยู่บนอกเด็กชายปูนั้น เมือกแก้วนั้นมีแสงแวววาวและต่อมาได้แข็งตัวเป็นลูกแก้ว ปัจจุบันได้ประดิษฐานที่วัดพะโคะ เมื่อเศรษฐีปานทราบเรื่องเข้าก็บีบบังคับขอลูกแก้วเอาจากนายหูและนางจันทร์ บิดามารดาของท่านจึงจำต้องยอมให้ลูกแก้วนั้นแก่เศรษฐีปานซึ่งเป็นนายเงิน แต่ลูกแก้วนั้นเป็นของศักดิ์สิทธิประจำตัวท่าน เมื่อเศรษฐีปานเอาลูกแก้วไปแล้วก็เกิดเภทภัยในครอบครัวเกิดการเจ็บป่วยกันบ่อย และมีฐานะยากจนลง เศรษฐีปานจึงได้เอาลูกแก้วมาคืนและขอขมาเด็กชายปู และยกหนี้สินให้แก่นายหูและนางจันทร์ ทั้งสองจึงพ้นจากการเป็นทาสและต่อมาก็มีฐานะดีขึ้น ๆ ส่วนเศรษฐีปานก็มีฐานะดีขึ้นดังเดิม
เมื่อท่านมีอายุได้ประมาณ 7 ขวบ พ.ศ. 2132 บิดามารดาของท่านจึงนำท่านไปฝากไว้เป็นศิษย์วัดเพื่อเล่าเรียนหนังสือ ที่วัดกุฎ๊หลวงหรือวัดดีหลวงในปัจจุบัน ซึ่งเป็นวัดอยู่ใกล้บ้านท่าน ขณะนั้นมีท่านสมภารจวง ซึ่งมีศักดิ์เป็นลุงของท่านเป็นเจ้าอาวาสอยู่ เด็กชายปูเป็นเด็กที่หัวดีเรียนเก่งสามารถเล่าเรียนภาษาขอมและภาษาไทยได้อย่างรวดเร็ว สมภารจวงได้บวชให้ท่านเป็นสามเณรเมื่ออายุได้ 15 ปี ตอนที่ท่านบวชเป็นสามเณรนี้เองบิดาของท่านจึงถวายลูกแก้วคืนให้แก่ท่านเป็นลูกแก้วประจำตัวท่านต่อไป
ด้วยความที่เป็นคนใฝ่เรียนใฝ่รู้ตลอดเวลาของท่าน ต่อมาท่านสมภารจวงได้นำไปฝากให้เล่าเรียนหนังสือที่สูงขึ้นสมัยนั้นเรียกว่ามูลบทบรรพกิจ ปัจบันก็คือเรียนนักธรรมนั่นเอง โดยนำไปฝากเรียนไว้กับสมเด็จพระชินเสน ซึ่งเป็นพระเถระชั้นสูงที่ส่งมาจากกรุงศรีอยุธยา ให้มาครองเป็นเจ้าอาวาสวัดสีคูยังหรือวัดสีหยังในปัจจุบัน ห่างจากวัดดีหลวงไปทางเหนือประมาณ 4 กิโลเมตร ท่านได้เรียนรู้ได้อย่างรวดเร็วและจบหลักสูตรที่วัดสีคูยังนั้น หลังจากนั้นท่านได้เดินทางเข้ามาศึกษาต่อที่เมืองนครศรีธรรมราชเพื่อเรียนหนังสือให้สูงขึ้น
โดยมาพำนักอยู่ที่วัดเสมาเมือง ซึ่งเป็นสำนักเรียนและมีสมเด็จพระมหาปิยะทัสสี เป็นเจ้าอาวาส และบรรพชาอุปสมบทเป็นพระสงฆ์เมื่ออายุครบกาลอุปสมบท ท่านได้ศึกษาวิชาจากครูบาอาจารย์ต่าง ๆ จนมีความรู้และเป็นผู้ทรงอภิญญามาก และได้แสดงปาฏิหาริย์หลายครั้ง ท่านได้รับพระราชทานสมณศักดิ์จากสมเด็จพระเอกาทศรศในครั้งสุดท้ายในราชทินนามที่ สมเด็จเจ้าพระราชมุนีสามีรามคุณูปรมาจารย์ สุดท้ายเมื่อท่านมีอายุได้ 80 ปี ท่านได้กลับมาจำพรรษาที่วัดพะโคะ วัดบ้านเกิดของท่าน ต่อมาท่านได้สั่งเสียกับลูกศิษย์ว่าเมื่อท่านมรณภาพให้นำพระศพท่านไปไว้ที่วัดช้างไห้ อ.โคกโพธิ์ จ.ปัตตานี ต่อไปสถานที่ข้างหน้าจะเป็นสถานที่ท่องเที่ยวที่ให้คนมาเที่ยว