Respondendo a sua pergunta, tem varios programas para analisar malwares, cada um com sua utilidade tem vários livros sobre isso só pesquisar sobre "malware analysis", vai te dar um leque amplo de programas e como usa-los.