En 2002, la chanteuse Hayley Williams, âgée de 13 ans, déménage de sa ville natale dans le Mississipi pour habiter à Franklin dans le Tennessee, où elle rencontre Josh Farro et Zac Farro. Ces derniers sont scolarisés dans une école privée. Peu de temps après son arrivée, elle prend des cours de chant avec Brett Manning. Avant de former Paramore, Hayley Williams, Jeremy Davis ainsi que leur ami Kimee Read créent un groupe de funk nommé The Factory, alors que Josh et Zac Farro s'entraînent de leur côté après les cours. Les autres membres de Paramore étaient plutôt "anxieux à l'idée d'un groupe féminin" en ayant Hayley Williams en tant que chanteuse, mais puisqu'ils sont tous bons amis, elle commence à écrire pour eux. Hayley Williams révèle que la première fois qu'elle a rencontré les mecs "C'étaient les premières personnes que je rencontrais qui aimaient autant la musique que moi". Le groupe est officiellement formé de Josh Farro (guitare) et Zac Farro (batterie), Jeremy Davis (basse) et Hayley Williams (chant) en 2004, avec plus tard l'arrivée de Jason Bynum (guitare ryhtmique), qui était le voisin de Williams. Lors des débuts du groupe, Davis était ahuri de constater que le batteur avait seulement douze ans. Il avoue "J'avais très, très peu confiance aux membres du groupe à cause de leur âge. Je me souviens m'être dit 'Ça ne va pas marcher parce que ce gamin est trop jeune', mais il a été incroyable le premier jour de répétition. Je savais que ça allait donner quelque chose". Selon Williams, le nom "Paramore" est à l'origine le nom de jeune fille d'une amie de sa mère. Lorsque le groupe apprend que "paramour" signifie "amour secret", ils décident d'adopter ce nom, en l'orthographiant Paramore".
En 2003, Williams signe au début chez Atlantic Records en tant qu'artiste solo. Elle a été présentée à Atlantic A&R Tom Storms par le biais de Kent Marcus et Jim Zumwalt, tous deux avocats des managers Dave Steunebrink et Richard Williams, avant de signer. Plus tard, la production pour laquelle elle avait été découverte et où elle avait signé, est rachetée par Atlantic. L'idée de départ est de la transformer en chanteuse pop, mais Hayley Williams refuse, en disant vouloir jouer du rock alternatif et qu'elle veut que son groupe reste avec elle. Dans une interview avec HitQuaters, Steve Robertson dit "Elle voulait être certaine qu'on ne la voyait pas comme une princesse pop du Top 40. Elle voulait s'assurer qu'elle et son groupe puisse avoir la chance de montrer leur potentiel de groupe rock en écrivant leurs propres chansons". La président du label, Julie Greenwald, et les membres du label décide finalement d'aller dans son sens.
Paramore est censé sortir un album chez Atlantic Records mais l'agent marketing du label décide qu'il serait meilleur pour l'image du groupe de ne pas être rattaché à un grand label. A la place, ils sortent leur album chez Fueled by Ramen.Lyor Choen, directeur de Warner Bros Group, pense que le fait d'être chez un label rock comme Fueled by Ramen serait l'idéal pour le groupe. En avril 2005, après un petit concert privé dans un entrepôt, le groupe a signé chez Atlantic Records, ainsi que Fueled by Ramen.
La première chanson que le groupe écrit est "Conspiracy", qui sera utilisée dans leur premier album. En 2004, ils partent en tournée avec le groupe Purple Door. A cette époque, les parents de Williams conduisaient tout le monde pendant leur tournée au Sud-Est des Etats-Unis. Cette dernière révèle "A ce moment là, on s'est tous dit qu'après l'école on resterait chez nous pour s'entraîner. On aimait faire ça pour s'amuser, et c'est toujours le cas ! Je crois qu'aucun d'entre nous pouvait prévoir la tournure que ça allait prendre".