Kecerdasan Buatan (AI) telah berkembang dengan cepat dalam beberapa bulan terakhir. Aktivitas yang biasanya membutuhkan kecerdasan manusia seperti persepsi, penalaran, dan pengambilan keputusan, secara perlahan dialihkan ke AI. Salah satu hal yang mendorong perkembangan AI adalah pengembangan model dasar yang lebih kuat dan tangguh. Model dasar adalah yang memungkinkan AI untuk melakukan tugas-tugas yang lebih umum bahkan tanpa pelatihan khusus sebelumnya. Model dasar berperan sebagai dasar pengetahuan dan pemahaman untuk AI, didukung oleh jumlah data yang besar menggunakan machine learning. Model dasar dibangun dengan tujuan-tujuan tertentu, seperti kemampuan berbicara, untuk mendukung aplikasi AI yang lebih akurat dan efisien. Model bahasa besar (LLM) adalah jenis model dasar yang memungkinkan AI berbicara seperti manusia. Ini dilatih dengan jumlah data yang besar dan menggunakan teknik-teknik canggih seperti jaringan saraf untuk memahami kompleksitas bahasa. LLM telah digunakan untuk chatbot AI, terjemahan mesin, dan ringkasan teks. Tetapi bagaimana sebenarnya model-model ini bekerja? Dalam artikel ini, kami akan menjelajahi rincian teknis dari model bahasa besar dan memberikan gambaran tingkat tinggi tentang cara kerja internalnya.
Dasar-dasar pemodelan bahasa
Pada intinya, model bahasa adalah model statistic yang memperkirakan distribusi probabilitas bahasa. Dengan kata lain, ia memprediksi kemungkinan kata tertentu atau urutan kata berdasarkan konteks suatu kalimat atau dokumen. Misalnya, dengan diberikan kalimat “Saya suka makan….untuk sarapan,” sebuah model bahasa dapat memprediksi kata yang paling mungkin untuk mengisi kekosongan berdasarkan kata-kata sebelumnya. Model bahasa yang paling sederhana didasarkan pada model n-gram, yang menghitung probabilitas setiap kata dalam kalimat berdasarkan frekuensi kemunculannya dalam korpus pelatihan, atau massa data yang digunakan untuk pelatihan. Namun, model-model ini memiliki keterbatasan dan bisa kesulitan dengan urutan kata yang lebih panjang atau menghasilkan teks yang baru dan koheren.
Mengenal LLM (Large Language Model)
Large Language Models, di sisi lain, dirancang untuk mengatasi keterbatasan tersebut dengan menggunakan jaringan saraf untuk memproses bahasa dengan cara yang lebih canggih dan nuansa. Model-model ini dilatih dengan jumlah data teks yang besar, menggunakan proses yang disebut pembelajaran tanpa pengawasan untuk mengidentifikasi pola dan hubungan dalam data. Jenis Large Language Model yang paling umum adalah model berbasis transformer, yang pertama kali diperkenalkan oleh Google pada tahun 2017 dengan rilis arsitektur Transformer. Model berbasis transformer menggunakan mekanisme perhatian diri untuk menangkap dependensi jarak jauh antara kata-kata, memungkinkan mereka memahami konteks kalimat dengan cara yang lebih canggih. Ini berarti bahwa mereka dapat menghasilkan teks yang lebih koheren dan sesuai konteks daripada model n-gram. Melatih model bahasa besar adalah proses yang kompleks dan membutuhkan komputasi yang intensif, biasanya melibatkan beberapa tahap. Pertama, model diinisialisasi dengan bobot acak, kemudian dilatih dengan korpus data teks yang besar menggunakan proses yang disebut propagasi balik. Propagasi balik menyesuaikan bobot model berdasarkan kesalahan yang dibuatnya dalam memprediksi kata berikutnya dalam sebuah kalimat. Proses ini diulang dalam banyak iterasi hingga model mencapai tingkat akurasi yang tinggi dalam memprediksi kata berikutnya.
Pemelajaran ulang untuk kasus penggunaan spesifik
Salah satu manfaat utama dari model bahasa besar adalah fleksibilitas dan adaptabilitasnya. Setelah sebuah model dilatih dengan korpus teks yang besar, model tersebut dapat dijemput ulang untuk kasus penggunaan spesifik, seperti pertanyaan-jawaban atau analisis sentiment. Pemelajaran ulang melibatkan pelatihan model pada dataset yang lebih kecil dan lebih spesifik untuk mengoptimalkan kinerjanya pada tugas tertentu tersebut. Proses ini membutuhkan waktu, namun memungkinkan organisasi mengembangkan aplikasi pemrosesan bahasa yang sangat akurat dan efektif untuk berbagai kasus penggunaan. Ada banyak alat dan kerangka kerja yang memungkinkan pemelajaran ulang atau penyesuaian model bahasa besar. Banyak penyedia solusi kecerdasan buatan dapat menyesuaikan model bahasa besar yang sudah ada hanya dengan beberapa baris kode dan data pelatihan. Ini memungkinkan mereka menciptakan model bahasa khusus domain atau wilayah yang melebihi performa model bahasa generic untuk kasus penggunaan tertentu. Penyesuaian ini juga memungkinkan personalisasi untuk interaksi dengan pelanggan, meningkatkan pengalaman pengguna.
Manfaat pemelajaran ulang pada model bahasa besar
Misalkan Anda adalah perusahaan yang ingin membangun chatbot untuk tim dukungan pelanggan Anda. Anda ingin chatbot dapat menjawab pertanyaan pelanggan tentang produk dan layanan Anda dengan cepat dan akurat, tetapi Anda juga ingin memiliki sentuhan personalisasi dan mencerminkan gaya dan nada merek Anda. Untuk mencapai hal ini, Anda dapat memulai dengan model bahasa besar yang sudah dilatih sebelumnya, seperti GPT-4 yang telah dilatih dengan jumlah data yang besar dan memiliki pemahaman yang kuat terhadap bahasa. Namun, GPT-4 belum dilatih dengan data yang spesifik untuk industri atau produk Anda, sehingga mungkin tidak memberikan performa yang sesuai dengan yang Anda harapkan untuk kasus penggunaan Anda. Di sinilah fine-tuning menjadi penting. Dengan fine-tuning, Anda dapat mengambil model yang telah dilatih sebelumnya dan melatihnya menggunakan data perusahaan Anda, seperti deskripsi produk, log dukungan pelanggan, dan informasi relevan lainnya. Dalam beberapa kasus, penyesuaian dapat dilakukan dengan menambahkan data baru ke dalam model pelatihan, yang lebih sederhana dan tidak membosankan daripada fine-tuning. Apapun metode yang digunakan, hasil akhirnya adalah model belajar tentang industri dan produk khusus Anda, serta meningkatkan kinerjanya untuk kasus penggunaan tertentu. Fine-tuning, bagaimanapun, memberikan lebih banyak personalisasi. Hal ini dapat menggabungkan suara dan nada merek Anda dengan memberikan contoh bagaimana perusahaan Anda berkomunikasi dengan pelanggan. Hal ini membantu memastikan bahwa chatbot terdengar seperti merek Anda dan memberikan pengalaman yang personal untuk pelanggan Anda.
Masa depan model bahasa
Pemain-pemain utama seperti OpenAI dan Meta akan memiliki keunggulan dalam pengembangan LLM (large language model) tujuan umum. Namun, ada ruang yang besar untuk LLM yang khusus. Pasar vertikal seperti fintech kemungkinan akan melihat pemain-pemain kecil datang dan mengembangkan model bahasa yang khusus untuk domain tersebut. Perusahaan seperti Bloomberg sudah mengembangkan LLM mereka sendiri seperti BloombergGPT. Para spesialis akan memiliki keunggulan karena pengetahuan mendalam mereka tentang data eksklusif atau domain-specific. Ketika berbicara tentang fine-tuning atau penyesuaian, arah yang menjanjikan adalah penggunaan meta-adapters yang melakukan fine-tuning pada model yang sangat kecil (jutaan parameter daripada miliaran). Hal ini, dikombinasikan dengan metode pembelajaran few-shot, memungkinkan penyesuaian LLM dalam waktu yang lebih singkat. Hasil akhirnya adalah tersedianya lebih banyak model bahasa yang khusus untuk domain bagi lebih banyak bisnis dan pasar.
