Penerapan Tokenisasi, Stopword Removal, dan Stemming

Disusun oleh :

Agil Septia Pamungkas                     (15.01.53.0009)

Prasetyo Dewanda Gorezi                (15.01.53.0090)

Ponco Pramudiyo                              (15.01.53.0019)

Dosen Pengampu :

Dr. Drs. Eri Zuliarso,M.Kom

Fakultas Teknologi Informasi Program Studi Teknik Informatika Universitas Stikubank Semarang

2017

BAB I

PENDAHULUAN

• Latar Belakang

Perkembangan teknologi yang pesat mempengaruhi seluruh aspek kehidupan masyarakat. Salah satu aspek kehidupan tersebut adalah banyaknya penyimpanan dokumen secara digital berupa teks. Karena banyak dokumen yang disimpan secara digital dan terjadi penumpukan dokumen, hal ini menyebabkan pencarian dokumen yang relevan terasa sulit dan memakan waktu yang lama. Pasalnya, hampir seluruh  dokumen-dokumen yang ada tidak memiliki struktur yang pasti, dan tidak semua kata mencerminkan makna atau isi yang terkandung dalam sebuah dokumen. Sehingga informasi di dalamnya tidak dapat diekstrak secara langsung oleh pencari dokumen.

Oleh sebab itu, metode-metode untuk menemukan kembali teks terus ditingkatkan. Salah satunya yaitu Information Retrieval System (IRS). IRS  merupakan pencarian informasi dalam satu atau lebih dokumen, atau mencari informasi dari database. IR menggunakan perhitungan untuk menentukan apakah informasi tersebut relevan bagi penggunanya. Di dalam IR akan melalui beberapa tahapan, yaitu Text Preprocessing, Pembobotan, dan Indexing.

Text Preprocessing diperlukan untuk memilih kata yang akan digunakan sebagai indeks. Indeks adalah kata-kata yang mewakili sebuah dokumen dan digunakan untuk membuat permodelan Information Retrieval System  (IRS). Text Processing juga melalui beberapa tahapan, yaitu Tokenisasi, Stopword Removal, dan Stemming. Dalam makalah ini difokuskan pada langkah pertama IRS, yaitu Text Processing.

• Rumusan Masalah

1.      Apa pengertian dari Information RetrievalSystem(IRS)?

2.      Apa pengertian dari Tokenisasi, Stopword Removal, dan Stemming?

3.      Bagaimana proses dari Tokenisasi, Stopword Removal, dan Stemming?

4.       

• Tujuan

Pembaca memahami pengertian, proses, dan manfaat dari Tokenisasi, Stopword Removal, dan Stemming.

BAB II

PEMBAHASAN

• Pengertian Information Retrieval System

Information RetrievalSystem (IRS) atau Sistem Temu Kembali Informasi merupakan suatu sistem yang menemukan informasi yang sesuai dengan kebutuhan user dari kumpulan informasi secara otomatis. Aplikasi IRS sudah digunakan dalam banyak bidang seperti dikedokteran, perusahaan dan lain sebagainya.

Prinsip kerja Information Retrieval System jika ada sebuah kumpulan dokumen dan seorang user yang memformulasikan sebuah pertanyaan (request atau query). Jawaban dari pertanyaan tersebut adalah sekumpulan dokumen yang relevan dan membuang dokumen yang tidak relevan (Salton, 1989).

IRS akan mengambil salah satu dari kemungkinan tersebut. IRS dibagi dalam dua komponen utama yaitu sistem pengindeksan (indexing) menghasilkan basis data sistem dan temu kembali merupakan gabungan dari user interface dan look-up-table. IRS didesain untuk menemukan dokumen atau informasi yang diperlukan oleh user.

Information Retrieval System bertujuan untuk menjawab kebutuhan informasi user dengan sumber informasi yang tersedia dalam kondisi seperti sebagai berikut (Salton, 1989);

• Mempresentasikan sekumpulan ide dalam sebuah dokumen menggunakan sekumpulan konsep.
• Terdapat beberapa pengguna yang memerlukan ide, tapi tidak dapat mengidentifikasikan dan menemukannya dengan baik.
• Information Retrieval System bertujuan untuk mempertemukan ide yang dikemukakan oleh penulis dalam dokumen dengan kebutuhan informasi pengguna yang dinyatakan dalam bentuk key word query/istilah penelusuran.

• Arsitektur Information Retrieval System

Proses Information Retrieval System seperti pada gambar 2.1 menggunakan arsitektur yang sederhana. Sebelum dilakukannya proses temu kembali diperlukan pendefinisian database. Selanjutnya mengikuti tahapan proses; Dokumen-dokumen yang akan digunakan,Operasi yang akan digunakan dalam pencarian, dan model pengolahan teks (Baeza, 1999, h.9).

Gambar 2.1 The Process of Retrieving Information (Baeza, 1999,h.10)

• Text Preprocessing

Pemrosesan Teks (Text Preprocessing) adalah suatu proses pengubahan bentuk data yang belum terstruktur menjadi data yang terstruktur sesuai dengan kebutuhan untuk proses mining yang lebih lanjut (sentiment analysis, peringkasan, clustering dokumen, dsb.). Singkatnya, Preprocessing adalah mengubah teks menjadi term index.Tujuannya adalah untuk menghasilkan sebuah set term index yang bisa mewakili dokumen.

Langkah-langkah dalam pemrosesan teks antara laintokenisasi(tokenizations), pembuangan stopword(stopword removal), pembentukan kata dasar (stemming).

• Tokenisasi(Tokenizations)

Sebelum kata dipisahkan dari kalimatnya, terlebih dahulu dibersihkan dari tanda baca, tag html dan angka. Pada penelitian ini untuk membersihkan tandabaca dapat digunakan perintah yang disediakan oleh Java. Pembersihan dilakukansebelum proses tokenisasi (tokenizations) dimaksudkan untuk memperkecil hasildari tokenisasi. Pada proses tokenisasi akan dibaca dokumen abstrak dalam formatteks akan dilakukan proses pemotongan string input berdasarkan tiap kata yangmenyusunnya. Pada umumnya setiap kata terindentifikasi atau terpisahkan dengankata yang lain oleh karakter spasi, sehingga proses tokenisasi mengandalkan karakter spasi pada dokumen untuk melakukan pemisahan kata.

Gambar 2.2 Flowchart Proses Tokenisasi

Seperti yang terlihat pada gambar 2.2 pada proses preprosesinguntuktokenisasi, semua term dalam dokumen yang dibaca diganti dengan huruf kecil.Setelah itu tiap term akan dicek apakah tanda baca atau tidak. Jika tanda bacamaka akandihapus/dibuang. Proses akan dilanjutkan untuk membuat termmenjadi token-token yang terpisah.

• DFD

• ERD

• Pembuangan Stopword (Stopword Removal)

Proses pembuangan stopword dimaksudkan untuk mengetahui suatu katamasuk ke dalam stopword atau tidak. Pembuangan stopwordadalah prosespembuangan term yang tidak memiliki arti atau tidak relevan. Term yangdiperoleh dari tahap tokenisasi dicek dalam suatu daftar stopword, apabila sebuahkata masuk di dalam daftar stopwordmaka kata tersebut tidak akan diproses lebihlanjut. Sebaliknya apabila sebuah kata tidak termasuk di dalam daftar stopwordmaka kata tersebut akan masuk keproses berikutnya. Daftar stopwordtersimpandalam suatu tabel, dalam penelitian ini menggunakan daftar stopword yangdigunakan oleh Tala (2003), yang merupakan stopword Bahasa Indonesia yang berisi kata-kata seperti ; ini, itu, yang, ke, di, dalam, kepada, dan seterusnyasebanyak 780 kata. Seperti terlihat pada gambar 2.3 pembuangan stopword dilakukan denganmengecek pada tabel stopword. Bila term cocok dengan salah satu isi tabel stopword, maka term tersebut dianggap sebagai stopwordakan dibuang dan tidakakan diikutkan pada proses stemming. Dari proses pembuangan stopword akan menghasilkan term tanpa stopword.

Gambar 2.3 Flowchart Proses Pembuangan Stopword

• Pembentukan Kata Dasar (Stemming)

Proses stemming adalah proses pembentukan kata dasar. Termyangdiperoleh dari tahap pembuangan stopwordakan dilakukan proses stemming.Algoritma stemming yang digunakan adalah modifikasi Porter stemmer dari(Tala, 2003). Stemming digunakan untuk mereduksi bentuk term untuk menghindari ketidakcocokan yang dapat mengurangi recall, di mana term-termyang berbeda namun memiliki makna dasar yang sama direduksi menjadi satubentuk.

Struktur pembentukan kata dalam Bahasa Indonesia adalah sebagai berikut:

[awalan-1] + [awalan-2] + dasar + [akhiran] + [kepunyaan] + [sandang]

Masing-masing bagian tersebut (yang dalam kotak bisa ada atau tidak), digabungkan dengan kata dasar membentuk kata berimbuhan.

Penggunaan algoritma stemming Tala bertujuan untuk mempercepat waktuimplementasi dan diharapkan performa yang stabil walaupun data dokumenbertambah terus. Algoritma Tala menggunakan algoritma rule based stemmingseperti halnya dengan algoritma porter pada stemming bahasa Inggris.

Pada stemmer Tala terdapat 5 langkah utama dengan 3 langkah awal dan 2 langkah pilihan, langkah-langkah tersebut sbb:

• Menghilangkan partikel
• Menghilangkan kata sandang dan kepunyaan
• Menghilangkan awalan 1
• Jika suatu aturan terpenuhi jalankan sebagai berikut :

·         Hilangkan Akhiran

·         Jika suatu aturan terpenuhi, hilangkan awalan 2. Jika tidakproses stemming selesai

• Jika tidak ada aturan yang terpenuhi jalankan sebagai berikut :

·         Hilangkan awalan 2

·         Hilangkan Akhiran

·         Proses stemming selesai.

Selain itu Tala juga membagi imbuhan menjadi 5 cluster yang nantinya digunakan untuk menghilangkan imbuhan pada setiap tahapnya. 

 Gambar 2.4 Flowchart Proses Stemming

Dapat dilihat pada gambar 2.4 tahap pertama proses stemming adalah mengecek jumlah karakter lebih besar dari 4, jika karakter lebih dari 4 akandilakukan proses menghilangkan kata sandang dan kepunyaan. Setelah prosesberhasil dilakukan akan dilanjutkan proses menghilangkan awalan. Sebelumproses menghilangkan awalan dilakukan akan dicek terlebih dahulu apakahkarakter lebih dari 3. Jika tidak maka akan disimpan sebagai kata dasar. Jikakarakter lebih dari 3 akan dicek apakah awalan adalah string “meny”, “peny” jikabenar maka dihasilkan kata dasar dengan karakter awal diganti dengan karakter“s”. Jika tidak akan dicek apakah awalan adalah string “mem”, “pem”. Jika benarmaka akan dihasilkan kata dasar dengan karakter awal diganti dengan karakter“p”. Jika awalan tidak string tersebut (meny, peny, mem, pem) maka awalan akandihilangkan dan akhir proses akan dihasilkan kata dasar.

• Aplikasi Information Retrieval System

Salah satu aplikasi dari IRS adalah mesin pencari yang dapat diterapkan di berbagai bidang. Dalam hal ini, kami menggunakan IRS untuk membuat mesin pencari dokumen perundang-undangan. Pada mesin pencari dengan IRS, user dapat memasukkan query yang bebas dalam arti kata query yang sesuai dengan bahasa manusia dan sistem dapat menemukan dokumen yang sesuai dengan query yang ditulis oleh user. Berikut tampilan awal dan halaman upload file-nya.

Gambar 2.5 Tampilan Awal

Gambar 2.6 Halaman Upload File Undang-Undang

Gambar 2.7 Dokumen Hasil Tokenisasi dan Stemming

Gambar 2.6 Halaman Hitung Bobot

Gambar 2.6 Halaman Download file

Berikut adalah tampilan hasil upload file ke dalam database yang sudah melalui proses Tokenisasi, Stopword Removal, dan Stemming.

Gambar 2.7 Tampilan Hasil Tokenisasi, Stopword Removal, dan Stemming

BAB III

PENUTUP

• Kesimpulan

1. Token adalah kata-kata yang dipisah-pisah dari teks aslinya tanpa mempertimbangkan adanya duplikasi.
2. Tokenisasi adalah proses mengubah dokumen menjadi kumpulan term  dengan  cara  menghapus  semua  karakter  tanda  baca yang terdapat pada token. Hingga pada akhirnya yang diperoleh hanya kumpulan kata-kata dari suatu teks/dokumen.
3. Stoplist atau  stopword  adalah  kata-kata  yang  tidak  deskriptif (tidak penting)  yang dapat  dibuang  dengan  pendekatan  bag-of-words.
4. Stopword removal disebut juga filtering, adalah tahap pemilihan kata-kata penting dari hasil token, yaitu kata-kata apa saja yang akan digunakan untuk mewakili dokumen.
5. Proses stemming adalah proses pembentukan kata dasar.
6. Stemming digunakan untuk mereduksi bentuk term untuk menghindari ketidakcocokan yang dapat mengurangi recall, di mana term-term yang berbeda namun memiliki makna dasar yang sama direduksi menjadi satu bentuk.

• Saran

Dalam makalah ini penulis belum maksimal dalam mengaplikasikan proses Tokenisasi, Stopword Removal, dan Stemming, sehingga aplikasi mesin pencarian perundang-undangan yang penulis buat masih belum sempurna dan masih diperlukan banyak pengembangan.

DAFTAR PUSTAKA

·         Amin, Fatkhul. 2012. Sistem Temu Kembali Informasi dengan  Metode Vector Space Model. Fakultas Teknologi Informasi, Universitas Stikubank, Semarang

·         eprints.unisbank.ac.id/1578/2/03_LaporanOntolog-Herny.pdf

·         malifauzi.lecture.ub.ac.id/files/2016/02/Text-Pre-Processing-v2.pptx