Ilmu Komputer

Techniques used to block web crawlers

There are many techniques used these days by websites that want to keep crawlers away from their pages. Here is summary of the most common ones and how they work. Suspicious Cookies Most websites set cookies which are sent by the web client on every HTTP request they make. Those cookies can be used by [...]

senja_solo_pse_yk_price_history_regular_days

Proyek Iseng: Pergerakan Harga Tiket Kereta

alam 3 bulan terakhir ini, saya mengerjakan sebuah proyek iseng: mengumpulkan data pergerakan harga tiket kereta (kereta jarak jauh, bukan KRL atau kereta lokal). Kenapa kereta? Alasannya sederhana, saya merupakan pengguna setia angkutan umum tersebut :D . Jika saya mudik dari Jakarta ke kampung halaman di Yogyakarta, saya lebih memilih naik kereta dibanding bus atau pesawat.

Untuk mengumpulkan data pergerakan harga tiket kereta tersebut, saya membuat sebuah perangkat lunak yang mampu melakukan pencarian tiket dan mengekstrak informasi tiket secara otomatis. Perangkat lunak semacam ini lazim dikenal dengan istilah web scraper. Informasi tiket yang diekstrak kemudian disimpan ke basisdata.

Informasi harga dan ketersediaan tiket kereta dapat diperoleh di situs reservasi tiket PT KAI. Untuk mengumpulkan data, saya membuat sebuah perangkat lunak yang dapat secara otomatis melakukan pencarian dan mengekstrak informasi tiket dari situs tersebut. Perangkat lunak semacam ini lazim dikenal dengan istilah web scraper. Informasi tiket yang diekstrak kemudian disimpan ke basisdata.

Belajar Sistem Perekomendasi

Belakangan ini saya sedang tertarik untuk belajar mengenai sistem perekomendasi (recommender system). Sadar atau tidak, sistem perekomendasi sebenarnya banyak ditemukan dalam keseharian pengguna Internet. Salah satu contohnya adalah rekomendasi artikel di situs portal berita seperti Detik.com, Kompas.com, dan Okezone.com. Kompas.com malah baru-baru ini dengan bangga meluncurkan fitur personalisasi bagi para pembacanya. Yang dimaksud personalisasi adalah, [...]

Menghitung Effective Interest Rate Menggunakan Metode Numerik (Bagian 2)

Mohon maaf sebelumnya karena saya tidak bisa menepati janji saya pada tulisan sebelumnya untuk memberikan contoh aplikasi perhitungan EIR menggunakan library “Apache Math Commons”. Saya hanya sempat membuat contoh dengan implementasi metode numerik sendiri (tanpa library, menggunakan metode Newton-Raphson). Saya telah mengunggahnya di account GitHub saya. Selamat mengoprek!

Hak Cipta dan Lisensi Perangkat Lunak

Beberapa waktu lalu saya sempat bingung dalam memilih lisensi open source untuk SDE. Saya masih awam mengenai permasalahan copyright (hak cipta) dan lisensi. Akhirnya terpaksalah saya googling untuk mencari referensi mengenai hak cipta dan lisensi. Tulisan ini merupakan hasil pemahaman saya terhadap referensi yang telah saya baca (kebanyakan berasal dari Wikipedia). Apa itu Hak Cipta? [...]

Structured Data Extractor – Implementasi Metode Data Extraction based on Partial Tree Alignment (DEPTA)

Structured Data Extractor (SDE) adalah implementasi dari DEPTA (Data Extraction based on Partial Tree Alignment), sebuah metode untuk mengekstrak data dari halaman web (dokumen HTML). DEPTA dirancang oleh Yanhong Zhai dan Bing Liu dari University of Illinois at Chicago dan dipublikasikan dalam paper mereka “Structured Data Extraction from the Web based on Partial Tree Alignment” (IEEE Transactions on Knowledge and Data Engineering, 2006). Dengan masukan berupa suatu halaman web, SDE akan mendeteksi adanya data records pada halaman web tersebut dan mengekstraknya ke dalam struktur tabel (baris dan kolom).

Apa Itu Web Mining?

Saat ini World Wide Web (atau lebih sering disebut Web) merupakan sumber informasi yang sangat besar. Dahulu, sebelum adanya Web, jika kita ingin mencari informasi mengenai suatu hal maka kita akan bertanya pada orang lain atau mencarinya di buku. Saat ini, kita tinggal membuka web browser dan mencarinya di mesin pencari (seperti Google) menggunakan kata [...]

Menghitung Effective Interest Rate Menggunakan Metode Numerik (Bagian 1)

Effective interest rate, yang jika diterjemahkan dalam bahasa Indonesia berarti suku bunga efektif, merupakan salah satu metode amortisasi yang digunakan dalam penerapan Pernyataan Standar Akuntansi Keuangan (PSAK) 50/55. Sebenarnya istilah effective interest rate tidak terbatas pada metode amortisasi saja, namun dalam tulisan ini saya akan membatasi penggunaannya dalam perhitungan jadwal amortisasi. Metode amortisasi effective interest [...]

Tantangan Dalam Membangun Perangkat Lunak untuk Domain Bisnis

Then there’s the matter of what comes under the term “business logic.” I find this a curious term because there are few things that are less logical than business logic. When you build an operating system you strive to keep the whole thing logical. But business rules are just given to you, and without major [...]

Belajar Rekayasa Perangkat Lunak – Bagian II

Pelajaran yang bisa dipetik dari Belajar Rekayasa Perangkat Lunak – Bagian I adalah bahwa mahir di bidang pemrograman bukanlah jaminan bahwa kita akan sukses mengerjakan proyek rekayasa perangkat lunak (ini keyakinan jahiliyah saya waktu masih mahasiswa, jangan ditiru yah ). Pemrograman hanyalah salah satu pekerjaan (task) dalam rekayasa perangkat lunak. Setelah mengingat kembali proyek-proyek yang [...]