Se ele já pegou seu IP não tem mais o que fazer.
Caso queira evitar que isso aconteça use VPN, por exemplo HotSpot Shield. Ele muda seu IP mas a internet fica mais lenta quando tiver usando o programa. Tem outros também, só pesquisar por VPN.