Anthony Green ist besonders bekannt für seine hohe und mitunter schrille Stimme. Mit ihr gab der Sänger zunächst der Band Saosin einen unverwechselbaren Charakter. Als Anthony 2004 für einen Zahnarzttermin nach Philadelphia reiste, besuchte er seinen alten Freund Colin Frangicetto. Die beiden musizierten zusammen, verstanden sich gut und beschlossen eine Band zu gründen. Da Anthony Green sich mit seiner alten Gruppe schon länger nicht mehr musikalisch identifizieren konnte, fiel ihm der Abschied von Saosin leicht.

Zusammen mit Gitarrist Brendan Ekstrom, Bassist Nick Beard und Drummer Steve Clifford veröffentlichten er und Frangicetto 2005 das Debütalbum von Circa Survive. Als Titel wählen sie „Juturna“, den Namen einer römischen Göttin, die für Neuanfang steht. Die Texte der Songs beziehen sich vielfach auf den Film „Eternal Sunshine of the Spotless Mind“ (deutscher Titel: „Vergiss mein nicht“), der Athony Green zu dieser Zeit sehr beschäftigt hat. So handelt das Lied „Meet me in Montauk“ von einer Szene in der Jim Carrey Hals über Kopf nach Montauk fährt.

Der Musikstil der neuen Band geht in die Richtung Indie. Allerdings zeigt sich die Gruppe sehr experimentell und wirkt nicht allein durch Anthony Greens Stimme einzigartig. Circa Survive tritt während der Warped Tour, einem Punk- und Extremsportfestival auf, und begleitet Thrice und Coheed and Cambria auf ihrer Europatour. Das zweite Album produziert die Band mit dem Produzenten Brian McTernan im legendären Salad Days Studio. Der Titel „On Letting Go“ drückt aus, dass sich die Bandmitglieder mit ihren niedergeschriebenen Songs von all ihren alltäglichen Gefühlen befreien.