Perbandingan BM25 dan Cosine Similarity dalam Penilaian Presisi pada Sistem Perolehan Informasi

Mesin pencari merupakan salah satu sarana penting untuk mengakses informasi di internet, dengan jutaan orang mengandalkan sistem ini untuk menemukan informasi yang dibutuhkan setiap harinya. Keakuratan hasil pencarian sangat bergantung pada algoritma yang digunakan untuk menilai relevansi antara query dan dokumen. Dalam penelitian ini dataset peroleh dari laman https://www.kaggle.com/datasets/sh1zuka/indonesia-news-dataset-2024 dengan kategori berita politik sebanyak 500 baris. Data uji berjumlah 15 query bervariasi dari 2 sampai 3 kata pada kalimat query. Penelitian ini bertujuan untuk mengevaluasi perbandingan presisi antara BM25 dan Cosine Similarity dan mengidentifikasi pendekatan yang lebih efektif dalam meningkatkan kualitas hasil pencarian. Uji coba dilakukan menggunakan precision@k dengan nilai k berkisar dari 5 sampai 30 dengan kelipatan 5. Hasil evaluasi menunjukkan bahwa rata-rata presisi yang diperoleh oleh BM25 adalah 0.8979, sedangkan Cosine Similarity mencapai 0.8554. Presisi tertinggi diperoleh pada k-5 sebesar 1 pada BM25 dan 1 pada Cosine Similarity. Hal ini menunjukkan bahwa BM25 memiliki kinerja yang lebih baik dalam memberikan hasil pencarian yang relevan dibandingkan dengan Cosine Similarity pada dataset berita yang digunakan.