Di dalam hutan tropis yang lebat, Yaiba Kurogane muda dengan tekun berlatih pedang bersama ayahnya, Kenjuurou, tanpa menyadari keberadaan dunia modern. Namun, suatu hari, keduanya berakhir di dalam sebuah kontainer yang sedang dalam perjalanan menuju Jepang. Di sana, mereka bertemu dengan rival lama Kenjuurou, Raizou Mine, dan putrinya, Sayaka. Tanpa pilihan lain, Yaiba setuju untuk membuat kesepakatan dengan keluarga Mine: jika ia bisa mengalahkan siswa terkuat di dojo mereka, ia akan diizinkan tinggal. Dengan keterampilan unik dan kekuatan luar biasa, Yaiba berhasil mendapatkan tempatnya. Ingin bertarung melawan musuh yang lebih kuat, Yaiba mengikuti Sayaka ke sekolah—di mana ia dengan cepat kalah dari Takeshi Onimaru dan mengakui Onimaru sebagai rival barunya. Dengan Onimaru mewarisi pedang garis keturunannya dan memperoleh kekuatan iblis, Yaiba harus berlatih untuk menjadi lebih kuat dan mengalahkannya selamanya.