Prva dva albuma PJ Harvey snimljena su brzo i njihova se istorija prepliće. U oktobru 1991. objavila je svoj debi singl “Dress”, potom potpisala ugovor s indie izdavačkom kućom Too Pure i preselila se u London. Nakon privlačenja pažnje publike, te brojnih kritičara i izdavača u februaru 1992. Ona se odlučuje da indie priču ostavi iza sebe. Potpisuje ugovor sa Island Recordsom. Uslijedila je turneja za “Dry” koji je u međuvremenu izašao i očigledna nespremnost za sve što donosi život na turneji. Iscrpljena Polly Jean se povukla u rodni Dorset i u oktobru 1992. Počela da radi na pjesmama koje će se pojaviti na drugom albumu “Rid of Me”. Materijal je izašao na današnji dan 1993. godine.
Pjesme na “Rid of Me” su osim Harveyeve snimili Rob Ellis na bubnjevima i pratećim vokalima i Steve Vaugan na basu. To je bio posljednji album koji su snimili kao grupa prije rastanka krajem 1993. Većinu pjesama na albumu snimio je Steve Albini.
| No. | Title | Producer(s) | Length |
|---|---|---|---|
| 1. | “Rid of Me” | 4:28 | |
| 2. | “Missed” | 4:25 | |
| 3. | “Legs” | 3:40 | |
| 4. | “Rub ’til It Bleeds” | 5:03 | |
| 5. | “Hook” | 3:57 | |
| 6. | “Man-Size Sextet” | PJ HarveyRob EllisHead | 2:18 |
| Total length: | 23:51 |
| No. | Title | Writer(s) | Length |
|---|---|---|---|
| 7. | “Highway 61 Revisited” | Bob Dylan | 2:57 |
| 8. | “50ft Queenie” | 2:23 | |
| 9. | “Yuri-G” | 3:28 | |
| 10. | “Man-Size” | 3:16 | |
| 11. | “Dry” | 3:23 | |
| 12. | “Me-Jane” | 2:42 | |
| 13. | “Snake” | 1:36 | |
| 14. | “Ecstasy” | 4:26 | |
| Total length: | 24:11 (48:02) |