Sekolah Kebangsaan Segong Singai, Bau ditubuhkan pada bulan April 1958. Penubuhan sekolah ini di atas usaha beberapa orang penduduk Kampung Segong dan Kampung Barieng. Pada masa itu, ianya dikelolakan oleh Kuasa Tempatan (Local Authority) dan dinamakan Kampung Segong Local Authority School, Bau.Pada mulanya, ia ditempatkan di sebuah bangunan sementara yang dibinakan secara gotong-royong dengan menggunakan bahan-bahan tempatan seperti daun rumbia dan kayu.
Dua tahun kemudian lokasinyadipindah ke tempat yang baru. Pada tahun 1967, sekali lagi sekolah ini ditempatkan ditempat yang baru, iaitu tempat dimana adanya sekolah ini sekarang. Pada masa yang sama juga, pembinaan bangunan baru telah didirikan oleh Majlis Daerah Bau (Bau District Council).Sekolah berkenaan kemudian diambil alih dan dibawah pentadbiran Kerajaan Pusat. Dengan perubahan berkenaan, sekolah itu dinamakan Sekolah Rendah Kerajaan Segong, Bau. Manakala asrama telah dibuka pada tahun1986. dengan jumlah murid asrama serama 40 orang.
Mulai 29 Januari 1999, Sekolah Rendah Kerajaan Segong sekali lagi bertukar nama kepada Sekolah Kebangsaan Segong dengan nombor Pendaftaran Sekolah YBB1110. Nombor pendaftaran sekolah lama ialah AS.767 yang didaftar dibawah Majlis Daerah Bau (Bau District Council) tidak digunakan lagi.
