O Japão, diferente da Europa e EUA, não tem muitos wifi públicos. Por isso, vale muito a pena você ter acesso a alguma internet, seja alugando um modem-roteador 3G, seja comprando um chip.
Embora seja possível comprar chip no Japão, também não é tão simples conseguí-los, por isso, sugiro pesquisar bem antes.
O Tokyo Cheapo e Japan-Guide tem bons guias sobre isso: