Você pode usar o comando rm para excluir arquivos e pasta via ssh.
COMO FAZER
apagar arquivos específicos:
rm nome_do_arquivo1.txt nome_do_arquivo2.txt

apagar arquivos com a mesma extensão:
rm *.txt

apagar uma pasta inteira e seu conteúdo de forma recursiva:
rm -rf nome_da_pasta/

Para apagar todos os arquivos e pastas no diretório atual, sem excluir o diretório em si:
rm -rf *

Tome cuidado ao utilizar o comando rm, pois caso você remova algum arquivo por engano, o erro será irreversível.
SUGESTÃO DE APLICATIVO PARA ACESSO SSH
Caso você ainda não tenha um comando para acesso ssh na sua maquina, pode utilizar o Putty, é simples e gratuito. :)