ชุดข้อมูลที่ใช้ในการทดลองการตรวจสอบใบหน้านั้น ทางทีมผู้วิจัยได้เลือกใช้ 3 ชุดข้อมูล ได้แก่ The BioID Face, FERET และ Color FERET เนื่องจากชุดข้อมูลทั้ง 3 ชุด มีความหลากหลายพร้อมทั้งและความแตกต่างของใบหน้า พร้อมทั้งมีใบหน้าเป็นจำนวนมากทำให้มีความเหมาะสมที่จะนำมาทำการทดลองการตรวจสอบใบหน้า

        โดยข้อมูลชุด The BioID Face จะประกอบไปด้วย 21 บุคคลรวมน 1,513 ภาพ ต่อมาคือ ข้อมูลชุด FERET และข้อมูลนี้จะประกอบไปด้วย 196 บุคคลรวม 1,372 ภาพ โดยสองชุดข้อมูลที่กล่าวมานั้นภาพสีเทา (grayscale) ชุดข้อมูลสุดท้ายได้แก่ Color FERET โดยในชุดข้อมูลนี้จะแตกต่างจากสองชุดข้อมูลข้างต้นเนื่องจากเป็นภาพสี และจะประกอบไปด้วย 474 บุคคลรวม 3,553 ภาพ จากที่ได้กล่าวมาทางทีมผู้วิจัยได้ใช้ภาพในการทดสอบการตรวจจับใบหน้าทั้งสิ้น 6,438 ภาพ