Malheureusement la plupart des méthodes que j'ai utilisée (Genki, Minna no nihongo) se voulaient tout-en-un, donc demandaient d'apprendre les kanji pour progresser. J'imagine que c'est pareil pour Assimil.
À mon avis si tu veux juste bosser l'oral, il faudra te tourner vers des trucs assez spécifiques comme des podcasts (JapanesePod101 et Pimsleur sont assez connus, mais je ne sais pas ce que ça vaut).
Sinon sur Youtube j'avais trouvé cette chaîne qui propose des conversations basiques avec des natifs pendant une heure. Le gars note le vocabulaire en romaji en direct. C'est sympa comme initiative : https://www.youtube.com/c/BenjiroJapanese/videos