Tokopedia menempati posisi pertama sebagai aplikasi dengan pengguna aktif bulanan terbanyak di platform ponsel Android dan iPhone. Walaupun Tokopedia banyak diminati orang, kemungkinan ada hal yang tidak disukai oleh penggunanya. Karenanya peneliti mengusulkan penelitian Aspect-Based Sentiment Analysis, yaitu mengekstrak sentimen dan aspek dari aplikasi tersebut. Data yang digunakan adalah ulasan pengguna Tokopedia di Play Store dengan cara scraping. Pada penelitian ini, dilakukan klasifikasi sentimen menggunakan Naïve Bayes. Penentuan jumlah aspek dilakukan dengan clustering topik menggunakan LDA, dan menghasilkan 4 topik, yaitu kebermanfaatan, pelayanan, pengalaman belanja, dan tampilan. Hasil clustering menjadi acuan untuk proses anotasi aspek secara manual. Karena data sentimen negatif dan positif tidak seimbang, dilakukan resampling data menggunakan teknik RandomUnderSampler, RandomOverSampler, dan SMOTEENN. Evaluasi yang digunakan untuk klasifikasi sentimen adalah kurva ROC dan AUC. Akurasi tertinggi didapat setelah dilakukan oversampling yaitu sebesar 92,5%. Nilai AUC untuk oversampling sudah cukup baik, yaitu sebesar 0,95.
Kata Kunci: Oversampling, ROC, AUC, Aspect-Based Sentiment Analysis, Data Tidak Seimbang.