Песня была написана во время студийных сессий к альбому Sunbathing Animals. По словам гитариста Эндрю Сэвиджа, подборка готовых треков для пластинки часто бывает сложным процессом внутри целой группы, и при составлении финального списка не вошедшие в него треки просто откладываются в долгий ящик и остаются забытыми на протяжении многих лет.
«А теперь я слушаю «Hey Bug» спустя столько времени и не могу не признать, что это очень классная песня. Она напоминает о том творческом безумии, что царило в студии в 2013, и полна энергетики Sunbathing Animal».
Лирически композиция построена вокруг метафоры жука, который раздражает существование героя изнутри. Он проник ему через сердце, а этому предшествовали переполняющие чувства, что может иметь широкий спектр трактовок.
«Do you hear that sound or is it in my head?
Hey bug, hey bug, I didn't see you there»
Релиз стал единственным у Parquet Courts в 2020 году и вышел эксклюзивно на Bandcamp. Последний на данный момент альбом группы Wide Awake! датируется 2018.