Gambar Getty
Sejauh ini, bahkan perusahaan AI pun kesulitan menemukan alat yang dapat mendeteksi dengan andal kapan sebuah tulisan dibuat dihasilkan menggunakan model bahasa besar. Kini, sekelompok peneliti telah menetapkan metode baru untuk memperkirakan penggunaan LLM di sejumlah besar karya tulis ilmiah dengan mengukur “kata-kata berlebih” mana yang mulai muncul lebih sering selama era LLM (yaitu, 2023 dan 2024). Hasilnya “menunjukkan bahwa setidaknya 10% dari abstrak 2024 diproses dengan LLM,” menurut para peneliti. makalah pra-cetak yang diposting awal bulan iniEmpat peneliti dari Universitas Tubingen dan Universitas Northwestern di Jerman mengatakan mereka terinspirasi oleh penelitian yang mengukur dampak pandemi COVID-19 dengan melihat kematian berlebih dibandingkan dengan masa lalu. Dengan melihat serupa pada “penggunaan kata berlebih” setelah alat penulisan LLM tersedia secara luas pada akhir tahun 2022para peneliti menemukan bahwa “munculnya LLM menyebabkan peningkatan mendadak dalam frekuensi kata-kata gaya tertentu” yang “belum pernah terjadi sebelumnya baik dalam kualitas maupun kuantitas.”
Menyelami
Untuk mengukur perubahan kosakata ini, para peneliti menganalisis 14 juta abstrak makalah yang diterbitkan di Bahasa Indonesia: PubMed antara tahun 2010 dan 2024, melacak frekuensi relatif setiap kata yang muncul setiap tahun. Mereka kemudian membandingkan frekuensi yang diharapkan dari kata-kata tersebut (berdasarkan garis tren sebelum tahun 2023) dengan frekuensi sebenarnya dari kata-kata tersebut dalam abstrak dari tahun 2023 dan 2024, ketika LLM digunakan secara luas.
Hasilnya menemukan sejumlah kata yang sangat jarang ditemukan dalam abstrak ilmiah sebelum tahun 2023, yang tiba-tiba melonjak popularitasnya setelah LLM diperkenalkan. Kata “menggali”, misalnya, muncul 25 kali lebih banyak di surat kabar pada tahun 2024 dibandingkan dengan perkiraan tren pra-LLM; kata-kata seperti “menampilkan” dan “garis bawah” juga meningkat sembilan kali lipat penggunaannya. Kata-kata lain yang sebelumnya umum menjadi lebih umum dalam abstrak pasca-LLM: frekuensi “potensi” meningkat 4,1 poin persentase; “temuan” sebesar 2,7 poin persentase; dan “penting” sebesar 2,6 poin persentase, misalnya.
Tentu saja, perubahan penggunaan kata semacam ini dapat terjadi secara independen dari penggunaan LLM—evolusi alami bahasa berarti kata-kata terkadang berubah-ubah dan ketinggalan jaman. Namun, para peneliti menemukan bahwa, di era pra-LLM, peningkatan besar-besaran dan tiba-tiba dari tahun ke tahun hanya terlihat pada kata-kata yang berkaitan dengan peristiwa kesehatan besar dunia: “ebola” pada tahun 2015; “zika” pada tahun 2017; dan kata-kata seperti “virus corona”, “lockdown”, dan “pandemi” pada periode 2020 hingga 2022.
Namun, pada periode pasca-LLM, para peneliti menemukan ratusan kata yang penggunaan ilmiahnya meningkat secara tiba-tiba dan tidak memiliki kaitan yang sama dengan peristiwa dunia. Faktanya, meskipun kelebihan kata selama pandemi COVID sebagian besar adalah kata benda, para peneliti menemukan bahwa kata-kata yang mengalami lonjakan frekuensi pasca-LLM sebagian besar merupakan “gaya kata” seperti kata kerja, kata sifat, dan kata keterangan (contoh kecil: “di seberang, tambahan , komprehensif, krusial, meningkatkan, memamerkan, wawasan, terutama, khususnya, dalam”).
Ini bukanlah temuan yang benar-benar baru—peningkatan prevalensi “delve” dalam makalah ilmiah telah banyak dicatat dalam beberapa waktu terakhirmisalnya. Namun, penelitian sebelumnya umumnya mengandalkan perbandingan dengan sampel tulisan manusia “kebenaran dasar” atau daftar penanda LLM yang telah ditetapkan sebelumnya yang diperoleh dari luar penelitian. Di sini, kumpulan abstrak pra-2023 bertindak sebagai kelompok kontrol efektifnya sendiri untuk menunjukkan bagaimana pilihan kosakata telah berubah secara keseluruhan di era pasca-LLM.
Interaksi yang rumit
Dengan menyoroti ratusan apa yang disebut “kata penanda” yang menjadi jauh lebih umum di era pasca-LLM, tanda-tanda penggunaan LLM terkadang mudah untuk diketahui. Ambil contoh baris abstrak yang disebutkan oleh peneliti, dengan kata-kata penanda yang ditonjolkan: “A luas pemahaman tentang interaksi yang rumit antara (…) dan (…) adalah sangat penting untuk strategi terapi yang efektif.”
Setelah melakukan beberapa pengukuran statistik terhadap kemunculan kata penanda di setiap makalah, para peneliti memperkirakan bahwa setidaknya 10 persen dari makalah pasca-2022 dalam korpus PubMed ditulis dengan setidaknya beberapa bantuan LLM. Jumlahnya bisa lebih tinggi, kata para peneliti, karena kumpulan mereka mungkin tidak memiliki abstrak yang dibantu LLM yang tidak menyertakan kata penanda yang mereka identifikasi.
Persentase yang diukur tersebut juga dapat sangat bervariasi di berbagai subset makalah. Para peneliti menemukan bahwa makalah yang ditulis di negara-negara seperti Tiongkok, Korea Selatan, dan Taiwan menunjukkan kata-kata penanda LLM sebanyak 15 persen dari waktu, yang menunjukkan bahwa “LLM mungkin… membantu orang non-asli dalam mengedit teks bahasa Inggris, yang dapat membenarkan penggunaan ekstensifnya.” Di sisi lain, para peneliti menyatakan bahwa penutur asli bahasa Inggris “mungkin (hanya) lebih baik dalam memperhatikan dan secara aktif menghilangkan kata-kata bergaya tidak wajar dari keluaran LLM,” sehingga menyembunyikan penggunaan LLM mereka dari analisis semacam ini.
Mendeteksi penggunaan LLM adalah hal yang penting, catat para peneliti, karena “LLM terkenal karena membuat referensi, memberikan ringkasan yang tidak akurat, dan membuat klaim palsu yang terdengar berwibawa dan meyakinkan.” Namun ketika pengetahuan tentang kata-kata penanda LLM mulai menyebar, editor manusia mungkin menjadi lebih baik dalam mengeluarkan kata-kata tersebut dari teks yang dihasilkan sebelum dibagikan kepada dunia.
Siapa tahu, mungkin model bahasa besar di masa depan akan melakukan analisis frekuensi semacam ini sendiri, menurunkan bobot kata-kata penanda agar keluarannya lebih mirip manusia. Kita mungkin perlu melakukannya dalam waktu dekat panggil beberapa Blade Runners untuk memilih teks AI generatif yang bersembunyi di tengah-tengah kita.
