Der Schaden, den der Schwammspinner anrichtet, wird durch die Raupen verursacht. Raupen bleiben nach dem Schlupf erst einige Tage in Nähe des Nestes oder Schwammes. Danach beginnen sie, in die Baumkronen zu ziehen, wo sie anfangs in junge Blätter Löcher fressen. Mit zunehmendem Alter und Größe verzehren sie die Blätter nahezu vollständig. Der Schaden ist dann weithin sichtbar; bei Massenbefall sind Bäume teilweise völlig entlaubt. Neben Obstbäumen werden vor allem Eichen und Hainbuchen stark befallen.
Die meisten der geschädigten Bäume ergrünen wieder, wenn die Raupen Ende Juni den Fraß einstellen. Vereinzelt sterben jedoch insbesondere Eichen ab. Sind Eichenbestände durch andere Krankheiten, Schädlinge oder durch eine Dürreperiode geschwächt, kann auch der gesamte Bestand verloren gehen.