Perang Lima Raja: Latar Belakang

Kalau saya menyebut A Song of Ice and Fire (ASOIAF) mungkin banyak yang tidak tahu. ASOIAF adalah serial novel fantasi karya George R. R. Martin. Kebanyakan orang lebih mengenal adaptasinya di layar kaca: Game of Thrones (GoT). Awalnya saya menonton GoT atas rekomendasi Cius, lalu baca novelnya pun gara-gara dia juga. Tadinya agak skeptis karena [...]

Techniques used to block web crawlers

There are many techniques used these days by websites that want to keep crawlers away from their pages. Here is summary of the most common ones and how they work. Suspicious Cookies Most websites set cookies which are sent by the web client on every HTTP request they make. Those cookies can be used by [...]

senja_solo_pse_yk_price_history_regular_days

Proyek Iseng: Pergerakan Harga Tiket Kereta

alam 3 bulan terakhir ini, saya mengerjakan sebuah proyek iseng: mengumpulkan data pergerakan harga tiket kereta (kereta jarak jauh, bukan KRL atau kereta lokal). Kenapa kereta? Alasannya sederhana, saya merupakan pengguna setia angkutan umum tersebut :D . Jika saya mudik dari Jakarta ke kampung halaman di Yogyakarta, saya lebih memilih naik kereta dibanding bus atau pesawat.

Untuk mengumpulkan data pergerakan harga tiket kereta tersebut, saya membuat sebuah perangkat lunak yang mampu melakukan pencarian tiket dan mengekstrak informasi tiket secara otomatis. Perangkat lunak semacam ini lazim dikenal dengan istilah web scraper. Informasi tiket yang diekstrak kemudian disimpan ke basisdata.

Informasi harga dan ketersediaan tiket kereta dapat diperoleh di situs reservasi tiket PT KAI. Untuk mengumpulkan data, saya membuat sebuah perangkat lunak yang dapat secara otomatis melakukan pencarian dan mengekstrak informasi tiket dari situs tersebut. Perangkat lunak semacam ini lazim dikenal dengan istilah web scraper. Informasi tiket yang diekstrak kemudian disimpan ke basisdata.

Belajar Sistem Perekomendasi

Belakangan ini saya sedang tertarik untuk belajar mengenai sistem perekomendasi (recommender system). Sadar atau tidak, sistem perekomendasi sebenarnya banyak ditemukan dalam keseharian pengguna Internet. Salah satu contohnya adalah rekomendasi artikel di situs portal berita seperti Detik.com, Kompas.com, dan Okezone.com. Kompas.com malah baru-baru ini dengan bangga meluncurkan fitur personalisasi bagi para pembacanya. Yang dimaksud personalisasi adalah, [...]

Apa yang Telah Saya Lewatkan dari Perkembangan di Dunia Web Development 2 Tahun Ini

Dulu waktu masih mahasiswa saya juga magang sebagai web programmer. Namun, saat bekerja di ibukota selama lebih dari 2 tahun saya tidak lagi mengikuti perkembangan di dunia web application development. Hal ini karena saya lebih banyak menggunakan propietary tools seperti Oracle Application Express dan ASP.NET untuk proyek-proyek enterprise. Padahal di dunia web telah banyak terjadi [...]

My Gratitude to Jatis

Dear Mr. Jusuf Sjariffudin, I wrote this e-mail to inform you about my resignation (my last day will be at October, 5th) and to say thank you for all knowledge, inspiration and opportunity that I have got during my service at Jatis. I remember five years ago, when I still a student, I got a [...]

Menghitung Effective Interest Rate Menggunakan Metode Numerik (Bagian 2)

Mohon maaf sebelumnya karena saya tidak bisa menepati janji saya pada tulisan sebelumnya untuk memberikan contoh aplikasi perhitungan EIR menggunakan library “Apache Math Commons”. Saya hanya sempat membuat contoh dengan implementasi metode numerik sendiri (tanpa library, menggunakan metode Newton-Raphson). Saya telah mengunggahnya di account GitHub saya. Selamat mengoprek!

Hak Cipta dan Lisensi Perangkat Lunak

Beberapa waktu lalu saya sempat bingung dalam memilih lisensi open source untuk SDE. Saya masih awam mengenai permasalahan copyright (hak cipta) dan lisensi. Akhirnya terpaksalah saya googling untuk mencari referensi mengenai hak cipta dan lisensi. Tulisan ini merupakan hasil pemahaman saya terhadap referensi yang telah saya baca (kebanyakan berasal dari Wikipedia). Apa itu Hak Cipta? [...]

Structured Data Extractor – Implementasi Metode Data Extraction based on Partial Tree Alignment (DEPTA)

Structured Data Extractor (SDE) adalah implementasi dari DEPTA (Data Extraction based on Partial Tree Alignment), sebuah metode untuk mengekstrak data dari halaman web (dokumen HTML). DEPTA dirancang oleh Yanhong Zhai dan Bing Liu dari University of Illinois at Chicago dan dipublikasikan dalam paper mereka “Structured Data Extraction from the Web based on Partial Tree Alignment” (IEEE Transactions on Knowledge and Data Engineering, 2006). Dengan masukan berupa suatu halaman web, SDE akan mendeteksi adanya data records pada halaman web tersebut dan mengekstraknya ke dalam struktur tabel (baris dan kolom).

Apa Itu Web Mining?

Saat ini World Wide Web (atau lebih sering disebut Web) merupakan sumber informasi yang sangat besar. Dahulu, sebelum adanya Web, jika kita ingin mencari informasi mengenai suatu hal maka kita akan bertanya pada orang lain atau mencarinya di buku. Saat ini, kita tinggal membuka web browser dan mencarinya di mesin pencari (seperti Google) menggunakan kata [...]