Ketika kita melihat Masjid Jami' Al Ula yang berada di Kampung Baru Balikpapan, mungkin kita mengira bahwa masjid tersebut adalah mesjid baru atau mesjid modern. Namun sesungguhnya mesjid tersebut memiliki sejarah yang sangat panjang, bahkan boleh di bilang bahwa mesjid tersebut adalah mesjid pertama yang didirikan di Balikpapan. Kampung Baru, adalah awal pemukiman kota Balikpapan. Semua kapal berlabuh disana. Nama Kampung Baru itu diambil dari kata "Baru", yaitu bahan untuk menyatukan kayu kapal supaya tidak bocor (Sekarang orang menggunakan damar). Sedangkan nama mesjid dari bahasa Banjar, yang sering diucapkan oleh saudagar Banjar, yaitu "Ula" yang artinya di Mulai, maksudnya agar pembangunan musholla segera di mulai. Versi lain menyebutkan bahwa kata "Ula" adalah bahasa Arab, yang artinya Pertama.
Diawal tadi disebutkan bahwa Kampung Baru semula adalah tempat berlabuh dan merapatnya kapal-kapal saudagar, yaitu saudagar-saudagar yang datang dari Penajam, Sulawesi, Banjarmasin dan dari tempat-tempat lain. Pada umumnya mereka beragama Islam, sementara di Kampung Baru tidak tersedia atau tidak ada tempat untuk sholat. Dari hasil pembicaraan diantara para saudagar, maka terjadilah kesepakatan untuk membangun sebuah mushollah (Bangunan awal terbuat dari kayu dengan atap ijuk). Seiring dengan berjalannya waktu, mushollah ini pun berkembang menjadi sebuah masjid, yang di bangun diatas tanah hibah dari pedagang Tionghoa, yang beragama Konghuchu. Saat itu bangunan masjid terbuat dari kayu namun atapnya sudah berganti sirap. Di halaman. dibuat kolam untuk berwudhu, sebagaimana masjid-masjid yang ada di pulau Jawa dan di buat sumur-sumur sebagai sumber air. Yang menjadi imam kala itu adalah KH. Jamaluddin DG. Mawela (Imam pertama yang sudah meninggal dan di makamkan di Penajam), imam kedua, Puang Sau (Dimakamkan di Jenebora) dan imam ke tiga, Habib Bassiri dari Banjarmasin (Dimakamkan di Penajam).
Keistimewaan Masjid ini diantaranya : Ketika Jepang dan Belanda berusaha mengebom masjid tersebut, bom tidak jatuh di masjid, bahkan tidak meledak. Dalam rentetan sejarah, sudah berulang kali terjadi kebakaran di daerah itu, namun oleh karena kuasa dan campur tangan Tuhan, maka masjid tersebut tidak ikut terbakar, padahal bangunan masjid terbuat dari kayu yang rentan dengan kebakaran.
Tahun 1961, dibentuklah panitia pembangunan masjid secara permanen. Kepanitiaan ini diberinama kepanitiaan "kontrak mati", yang mana kala itu terjadi perjanjian, jika masjid gagal dibangun sesuai dengan waktu yang telah ditentukan, maka seluruh panitia akan di hukum mati (dibunuh). Ancaman ini datang dari Pangdam IX Mulawarman. R. Suharjo, yang ternyata seorang anggota PKI. Berkat kerja keras dan kesungguhan panitia yang saling bahu membahu dengan warga (Masyarakat), maka masjid pun dapat didirikan sesuai dengan waktu yang telah disepakati.
Tahun 1965, pemukiman disekitar masjid di bakar oleh gerombolan, namun lagi-lagi mesjid tersebut tidak ikut terbakar, bahkan ketika barang-barang penduduk yang di amankan kedalam masjid ikut terbakar, mesjit tetap tidak terbakar. Sejak tahun 1970, Masjid Jami' Al Ula, sudah mengalami tiga kali renovasi. Renovasi terakhir selesai dilakukan pada tahun 2004, sehingga masjid menjadi permanen, berlantai dua dengan daya tampung sekitar 5.000 jamaah. Saat ini direncanakan untuk membangun empat menara yang diletakkan disudut-sudut masjid termasuk meninggikan menara utama. Biaya pembangunan selama ini berasal dari sumbangan-sumbangan dan tanpa melalui penggalangan dana dengan cara meminta sumbangan di jalan atau datang dari pintu kepintu.
Mengenai Pluralisme, masjid ini sangat mengedepankan kebersamaan dan tidak mempermasalahkan perbedaan. Jika terjadi perbedaan selalu dibicarakan secara musyawarah untuk mencapai mufakat, salah satu contohnya, ketika melaksanakan sholat sunah tarawih, masjid ini melaksanakan dengan jumlah 23 rakaat, namun ketika sampai pada rakaat yang ke- 8, jamaah yang melaksanakan dengan jumlah 11 rakaat keluar dari shaff, imam memberi keleluasaan kepada para jamaah untuk kembali mengatur shaff, kemudian melanjutkan sholat.
Peran mesjid, bagi masyarakat sekitar bukan hanya sekedar tempat beribadah, namun juga sebagai tempat penanggulangan penyakit masyarakat. Pada masanya dulu kampung baru dikenal sebagai daerah rawan dan tertutup. Julukannya "Texas-nya Balikpapan" karena memang didaerah itu sering terjadi tidak kejahatan seperti judi, kekerasan hingga pembunuhan. Akibatnya warga lain tidak berani masuk jika memang tidak ada kepentingan. saat itu pengurus masjid berperan aktif, menyadarkan masyarakat dan mengajak mereka ke masjid. Sekarang lingkungan disekitar masjid boleh dibilang sudah aman dan warganya lebih terbuka serta ramah terhadap warga lain .... Al-hamdulillah hirobbil alamin.