Es fing alles während eines Einführungsseminars an der Tufts University in Boston an. Hier lernten sich Adam Gardner (Gitarre, Gesang), Ryan Miller (Gitarre, Gesang) und Brian Rosenworcel (Percussion) kennen. Zu ihrem Markenzeichen wurden die beiden Akustikgitarren, Bongos sowie der zweistimmige Gesang und Melodien mit Ohrwurm-Garantie. Sie nannten sich Gus und gaben 1992 ihr erstes Konzert, nahmen dann 1994 ihr erstes Album „Parachute“ in Eigenregie auf, für das sie 1995 mit dem Boston Globe in der Kategorie Best Local Debut Album geehrt wurden. Kurz darauf wurden sie gezwungen, sich in Guster umzubenennen, da bereits ein anderer Künstler unter dem Namen Gus einen Vertrag mit einer Major-Plattenfirma abgeschlossen hatte.
1997 folgte das zweite Album, ebenfalls in Eigenregie, wurde jedoch nach dem Abschluss eines Vertrages bei Sire Records 1998 neu aufgelegt. 2003 kam der Multiinstrumentalist Joe Pisapia dazu, der unter anderem Bass, Keyboard und Banjo spielt.
Guster zeichnen sich unter anderem durch ihren Einsatz für den Umweltschutz aus, zB fahren alle Trucks und Busse, die sie während ihrer Touren in Anspruch nehmen, mit Biodiesel.