Desa Selorejo pada mulanya merupakan kawasan hutan yang belum berpenghuni. Pembentukan desa ini diawali melalui proses babat alas, yakni pembukaan hutan oleh para tetua sebagai upaya menyediakan lahan pertanian sekaligus permukiman bagi masyarakat. Sekitar pertengahan abad ke-18, tokoh yang dikenal sebagai Mbah H. Torejo bersama Mbah Sayang tercatat sebagai pelopor yang memimpin pembukaan wilayah tersebut.
Pada masa awal berdirinya, wilayah ini belum bernama Desa Selorejo, melainkan dikenal sebagai Desa Watugedhe, yang berasal dari kata watu (batu) dan gedhe (besar). Penamaan tersebut dilatarbelakangi oleh keberadaan dua buah batu berukuran sangat besar yang konon memiliki tinggi dan lebar jauh melampaui ukuran batu pada umumnya. Kedua batu tersebut menjadi penanda alam yang khas di wilayah ini dan diyakini oleh masyarakat setempat memiliki nilai mistik, sehingga semakin menguatkan identitas wilayah Watugedhe pada masa itu.
Seiring perkembangan permukiman dan kehidupan sosial masyarakat, nama Watugedhe kemudian berubah menjadi Selorejo. Nama ini berasal dari kata selo dalam bahasa Jawa yang berarti batu, serta rejo yang diambil dari nama pendiri desa, yaitu Mbah H. Torejo. Perubahan nama tersebut mencerminkan kesinambungan antara unsur alam, sejarah pendirian, dan penghormatan terhadap tokoh perintis desa.
Sejak awal berdirinya, Desa Selorejo tumbuh dan berkembang sebagai desa agraris di wilayah Kecamatan Dau, Kabupaten Malang, dengan kehidupan masyarakat yang bertumpu pada sektor pertanian dan perkebunan. Didukung oleh kondisi alam yang subur serta iklim yang sejuk, Desa Selorejo terus mengalami perkembangan menjadi wilayah yang produktif, sekaligus memiliki potensi wisata berbasis alam dan pertanian yang bernilai strategis bagi pembangunan desa.