Dalam pengembaraannya dari Palembang ke Jawa, pertama-tama ia menuju Semarang.
Pasalnya pada saat itu Semarang merupakan salah satu Pelabuhan besar milik Kerajaan Majapahit yang mudah disinggahi.
Selama berminggu-minggu Raden Patah dan adiknya terombang-ambing di tengah lautan, akhirnya sampai juga di Semarang.
Dalam catatan Kuil Sam-Po-Kong sebagaimana yang dikutip Slamet Muljana (2005;91),
Disebutkan bahwa Jin Bun (Raden Fatah) dan Kin San (Raden Hasan) berangkat ke Pulau Jawa pada tahun 1474.
Keduanya mendarat di Semarang, di kota itulah keduanya mengunjungi Masjid yang dahulu dibangun oleh leluhurnya yaitu Sam-Po-Kong (Cengho).
Namun sesampainya di Masjid itu Raden Fatah merasa kaget karena ternyata didalamnya ada Patung Sam-Po-Kong.
Masjid itu telah berubah menjadi Kuil, leluhurnya Ceng Ho dipuja, bahkan disembah.
Dalam keadaan ini Raden Fatah menangis sejadi-jadinya, ia meratap di depan Patung Ceng Ho.
Selepas peristiwa itu ia bersumpah dan berdoa, kelak ia akan mendirikan Masjid yang tidak akan berubah menjadi kuil pemujaan (Klenteng).