Bem eu acho que isso da para fazer por ArrayList vou ver o jeito mais facil vou so comer
@EDIT:
public static ArrayList<Player> a = new ArrayList<Player>();
// Antes do player ser kickado
a.add(p);
// Depois no seu evento join
if(Main.a.contains(p)) {
p.sendMessage("MENSAGEM");
Main.a.remove(p);
}