Analisis Sentimen Ulasan Penggunaan Aplikasi Maxim Pada Google Play Store Menggunakan Algoritma Naive Bayes, SVM, CatBoost Berbasis NLP

Nanda Mediya Sari; Jasmir Jasmir; Elvi Yanti

doi:10.61132/prosemnasproit.v2i2.65

Authors

Nanda Mediya Sari Universitas Dinamika Bangsa
Jasmir Jasmir Universitas Dinamika Bangsa
Elvi Yanti Universitas Dinamika Bangsa

DOI:

https://doi.org/10.61132/prosemnasproit.v2i2.65

Keywords:

CatBoost, Naive Bayes, Analisis Sentimen, Support Vector Machine

Abstract

Sentiment analysis is a technique in Natural Language Processing (NLP) used to identify user opinion tendencies based on textual reviews. This study analyzer user reviews of the Maxim application on the Google Play Store and compares three Machine Learning algoritmhs-Naïve Bayes, Support Vector Machine (SVM), and CatBoost-in classifying sentiment. The research stages include data collection, text preprocessing, feature extraction using TF-IDF and Chi-Square, class balancing using SMOTE, and performance evaluation through Accuracy, Precision, Recall, and F1-Score. ANOVA is used to examine the influence of feature selection on model performance. The results show that each model exhibits different performance level across the tested feature combinations. The CatBoost achieved the highest accuracy of 99,26% and demonstrating the most stable performance. Meanwhile, the Naïve Bayes and SVM models experienced performance decreases experiments, especially after applying SMOTE. These findings indicate that the choise of algorithm, feature extraction method, and class balancing technique significantly affects classification outcomes. Overall, CatBoost is identified as the best-performing model, providing more consistenst classification result in accordance with the characteristics of the user reviews.

References

Afdillah Dwivi. (2023). Analisis Sentimen Ulasan Aplikasi Maxim Untuk Peningkatan Layanan Menggunakan Algoritma Naïve Bayes. EProceedings …, 11(4), 1–2.

Aziza, N., Maarif, U., & Latif, H. (2024). PENGANTAR STATISTIK : Analisis Varian ( ANOVA ) (Issue February).

Darmanto, K., & Sugiono, S. (2025). Analisis Sentimen Ulasan Aplikasi Jconnect Mobile Di Google Play Story Menggunakan Algoritma Multinomial Naïve Bayes Dan Support Vectore Machine. JATI (Jurnal Mahasiswa Teknik Informatika), 9(5), 8357–8364. https://doi.org/10.36040/jati.v9i5.15083

Ewen Hokijuliandy, Herlina Napitupulu, F. F. (2023). SisInfo Analisis Sentimen Menggunakan Metode Klasifikasi Support Vector Machine ( SVM ) SisInfo. 5(2), 40–49.

Februara, M. S. (2024). Perkembangan Transportasi Ojek Online dan Pengaruhnya. Jurnal UPI, 14(1), 31–42.

Gilbert, Syariful Alam, & M. Imam Sulistyo. (2023). Analisis Sentimen Berdasarkan Ulasan Pengguna Aplikasi Mypertamina Pada Google Playstore Menggunakan Metode Naïve Bayes. STORAGE: Jurnal Ilmiah Teknik Dan Ilmu Komputer, 2(3), 100–108. https://doi.org/10.55123/storage.v2i3.2333

Ginabila, G., & Fauzi, A. (2023). Analisis Sentimen Terhadap Pemutar Musik Online Spotify Dengan Algoritma Naive Bayes dan Support Vector Machine. Jurnal Ilmiah ILKOMINFO - Ilmu Komputer & Informatika, 6(2), 111–122. https://doi.org/10.47324/ilkominfo.v6i2.180

Hariyanti, E., Hostiadi, D. P., Atmojo, Y. P., & Darma, I. M. (2024). Analisis Perbandingan Metode Seleksi Fitur pada Model Klasifikasi Decission Tree untuk Deteksi Serangan di Jaringan Komputer. 208–217.

Hermaliani, E. H., & Ernawati, M. (2024). Penerapan Metode SMOTE Untuk Mengatasi Imbalanced Data Pada Klasifikasi Ujaran Kebencian. 4(1).

Heryana, A. (2020). Jumlah kelompok Fungsi Syarat data. Universitas Esa Unggul, May, 1–20. https://doi.org/10.13140/RG.2.2.23266.15047

Hilmi, N. F., & Irwiensyah, F. (2024). Analisis Sentimen Terhadap Aplikasi Tiktok Dari Ulasan Pada Google Playstore Menggunakan Metode Naïve Bayes. Smatika Jurnal, 14(01), 146–156. https://doi.org/10.32664/smatika.v14i01.1210

Husain, N. P., Sukirman, S., & SAJIAH, S. (2024). Analisis Sentimen Ulasan Pengguna Tiktok pada Google Play Store Berbasis TF-IDF dan Support Vector Machine. Journal of System and Computer Engineering (JSCE), 5(1), 91–102. https://doi.org/10.61628/jsce.v5i1.1105

Kurnia, Purnamasari, I., & Saputra, D. D. (2023). Analisis Sentimen Dengan Metode Naïve Bayes, SMOTE Dan Adaboost Pada Twitter Bank BTN. Jurnal JTIK (Jurnal Teknologi Informasi Dan Komunikasi), 7(2), 235–242. https://doi.org/10.35870/jtik.v7i3.707

Kurniawan, S. (2022). ANALISIS DATASET GOOGLE PLAY STORE MENGGUNAKAN METODE EXPLORATORY DATA ANALYSIS (EDA) Analysis of Google Play Store Datasets Using the Exploratory Data Analysis (EDA) Method. December. https://doi.org/10.13140/RG.2.2.14192.12808

MAXIM. (2022). Visi & Misi Maxim. Taximaxim.Com, 56–78.

Mubaroroh, H. H., Yasin, H., & Rusgiyono, A. (2022). Analisis Sentimen Data Ulasan Aplikasi Ruangguru Pada Situs Google Play Menggunakan Algoritma Naïve Bayes Classifier Dengan Normalisasi Kata Levenshtein Distance. Jurnal Gaussian, 11(2), 248–257. https://doi.org/10.14710/j.gauss.v11i2.35472

Muzayyanah, A. B., Pawening, R. E., & Arifin, Z. (2024). Analisis Sentimen Pada Ulasan Aplikasi Ehadrah Di Google Playstore Menggunakan Support Vector Machine (Svm). IDEALIS : InDonEsiA JournaL Information System, 7(2), 258–266. https://doi.org/10.36080/idealis.v7i2.3250

Nico, Budiyanto, U., & Fatimah, T. (2022). Implementasi Algoritma Pembobotan TF-IDF dan Cosine Similarity untuk Penetapan Kategori Artikel pada Website Universitas Budi Luhur. Jurnal TICOM: Technology of Information and Communication, 10(3), 218–222.

Oktapianti, I., Epty Hidayaty, D., Tuhagana, A., Studi Manajemen, P., Ekonomi dan Bisnis, F., & Buana Perjuangan Karawang, U. (2023). The Influence Of Maxim Online Transportation Service Rates On Digital Financial Transactions On Buana Perjuangan Karawang University Students. Management Studies and Entrepreneurship Journal, 4(5), 5736–5742.

Planlar, E., Kamu, H. K., Konur, C., No, S., Planlari, E., & Kiral, H. (2025). İrem ÇAĞLAR 1 , İzzet ARI 2 , Halis KIRAL 3. 8(12), 197–212.

Rahmasari, F., Rahaningsih, N., Dana, R. D., & Rohmat, C. L. (2025). Optimasi Analisis Sentimen Aplikasi Glints Menggunakan Algoritma Support Vector Machine (Svm). Jurnal Informatika Dan Teknik Elektro Terapan, 13(1). https://doi.org/10.23960/jitet.v13i1.5681

Riza, F., & Kurniawan, B. (2024). Perbandingan Performa Algoritma Klasifikasi Machine Learning Untuk Analisis Sentimen Pengguna Mobile Banking Livin’ by Mandiri Pada Google Play Store. Ismetek, 18(2), 116–122.

Saripah Aini Pohan, Samsudin, & Fathiya Hasyifah Sibarani. (2024). Analisis Sentimen Terhadap Aplikasi Maxim Menggunakan Algoritma Random Forest. Journal of Science and Social Research, 7(3), 1201–1208.

Septiani, D., & Isabela, I. (2022). Term Frequency Inverse Document Frequency (Tf-Idf) Analysis in Information Retrieval in Text Documents. Jurnal Sistem Dan Teknologi Informasi Indonesia(SINTESIA), 1(2), 81–88.

Syukron, A. (2023). Penerapan Metode Smote Untuk Mengatasi Ketidakseimbangan Kelas Pada Prediksi Gagal Jantung. 10(1), 47–50.

Syukur, M. A. A., Suhartono, S., & Chamidy, T. (2025). Prediksi Kualitas Udara Menggunakan Metode CatBoost. JISKA (Jurnal Informatika Sunan Kalijaga), 10(2), 249–258. https://doi.org/10.14421/jiska.2025.10.2.249-258

Tan, K. L., Lee, C. P., & Lim, K. M. (2023). A Survey of Sentiment Analysis: Approaches, Datasets, and Future Research. Applied Sciences (Switzerland), 13(7). https://doi.org/10.3390/app13074550

Thomas, S., Yuliana, & Noviyanti. P. (2021). Study Analisis Metode Analisis Sentimen pada YouTube. Journal of Information Technology, 1(1), 1–7. https://doi.org/10.46229/jifotech.v1i1.201

Wananda Purna Maulidi, Hani Fatu Zahra, & Syamsul Hidayat. (2024). Analisis Persaingan Ojek Online Pada Aplikasi Gojek, Maxim Dan Grab. Intellektika : Jurnal Ilmiah Mahasiswa, 2(2), 70–79. https://doi.org/10.59841/intellektika.v2i2.950

Widaningsih, S. (2019). Perbandingan Metode Data Mining Untuk Prediksi Nilai Dan Waktu Kelulusan Mahasiswa Prodi Teknik Informatika Dengan Algoritma C4,5, Naïve Bayes, Knn Dan Svm. Jurnal Tekno Insentif, 13(1), 16–25. https://doi.org/10.36787/jti.v13i1.78

Widiantoro, A., Dwiyoga Mustafid Sanjaya, & Ridwan. (2024). Pengantar NLP Dan Topik Model.