Sekolah Menengah Teknik Johor Bahru adalah antara sembilan buah sekolah teknik asal di Malaysia. Sekolah ini ditubuhkan pada 16 Januari 1974 dan dirasmikan oleh Menteri Pendidikan Malaysia iaitu YB Dr. Mahathir Mohamad pada 26 Jun 1976. Pengetua pertama ialah Encik Omar bin Abdul Rashid. Kemudian diikuti oleh dua orang guru bidang teknikal iaitu Encik Lim Theong Keng dan Encik Wong Kiew Chye. Pada 27 Januari 1974, tiga orang pelajar pertama telah mendaftar di sekolah ini. Pada awal penubuhannya sekolah ini mempunyai dua bahasa pengantaraan iaitu Bahasa Melayu dan Bahasa Inggeris. Bangunan sekolah ini mula digunakan pada 20 April 1974 dengan menempatkan seramai 112 orang pelajar dari jurusan Mekanikal, Binaan Bangunan dan Pertanian. Pada bulan Mei 1974 pula, asrama putera mula digunakan dan menempatkan seramai 80 orang pelajar. Seterusnya pada bulan September tahun yang sama asrama puteri pula mula digunakan dan menempatkan seramai 30 orang pelajar.
Pada akhir tahun 1975, merupakan hari pertama pelajar sekolah ini mengambil peperiksaan SPM/MCE. Sehingga tahun 1975 juga sekolah ini mempunyai seramai 33 orang guru. Pengambilan pelajar Tingkatan 6 Rendah aliran Inggeris telah dimulakan pada tahun 1977. Jurusan Perdagangan bermula pada sesi persekolahan 1985. Mulai sesi 1993/1994, sekolah telah menawarkan tiga jurusan baru iaitu Kejuruteraan Awam, Kejuruteraan Elektrik dan Elektronik serta Kejuruteraan Jentera yang menggantikan kursus Binaan Bangunan dan Mekanikal.
Pada tahun 2000, bangunan baru SMTJB telah siap dibina dan terdiri daripada sebuah surau, dewan besar, tiga blok bangunan asrama, dua buah dewan makan, lima buah blok bangunan sekolah, lima buah kuartes guru dan lima buah kuartes pekerja . Penyerahan sepenuhnya kepada sekolah disempurnakan pada 28 April 2000.
Sehingga kini SMTJB terus melakar sejarah dan mencipta kejayaan dalam pelbagai bidang sama ada dari segi kurikulum, kokurikulum dan pengurusan
