Krążek "Welcome Joy" ukazuje się dwa lata po fonograficznym debiucie. Stylistyka, w jakiej obraca się zespół pozostaje bez większych zmian. The Cave Singers wciąż grają akustyczne, folkowe ballady. Mimo młodego wieku, ich twórczość brzmi niezwykle dojrzale, nad krążkiem unosi się atmosfera znana z płyt chociażby Boba Dylana.
01. Summer Windows
02. Leap
03. At the Cut
04. Shrine
05. Hen of the Woods
06. Beach House
07. Jangle
08. I Don’t Mind
09. Townships
10. Welcome Joy