Catatan


22 July 2008
Hari ini di BBC Wikipedia

8 Jam 27 Menit

Dikirim oleh Riyogarta dalam Diary

Ini adalah rekor yang baru saja saya ciptakan untuk pekerjaan saya sebagai seorang pembuat script PHP. Delapan jam Duapuluh Tujuh menit ini bukan waktu yang dibutuhkan untuk membuat sebuah script, namun waktu yang dibutuhkan untuk menjalankan script tersebut hingga selesai tanpa gangguan.

Bermula dari pekerjaan untuk menganalisis data, saya membutuhkan script yang mampu mengkoversikan 2.716 file excel dengan format yang berbeda-beda dan masing-masing memiliki ukuran rata-rata  1.9GB / 2.716 =  699.56KB kedalam database MySQL.

Sebenarnya Eks Sahabat saya sudah membuatan tools untuk hal ini menggunakan Delphi. Hanya berdasarkan pengalaman yang sudah-sudah, tools ini memiliki keterbatasan dalam melakukan konversi data dalam jumlah yang sangat banyak. Belum lagi keterbatasan dalam mengambil jenis data yang tidak standar.

Pencarian dasar script untuk melakukan konversi membuat diri saya mampir ke blog salah satu sahabat saya di PHPUG, lalu mampir kemari dan akhirnya saya dapatkan Excel Reader yang sudah bersih dari PEAR Library. Setelah itu, saya buat sebuah script sederhana yang memanfaatkan library Excel Reader tersebut untuk membaca semua file excel dan menuliskannya kedalam database MySQL. Untuk memecahkan masalah keragaman format yang ada, saya membuat template pembacaan yang akan dipilih oleh script secara ototmatis dengan melakukan perbandingan antara template yang ada dengan file Excel yang dibaca.

Kenapa tidak menggunakan library yang sudah dibuat Suhu Anghuda saja?
Mulanya saya ingin menggunakannya, namun ada beberapa hal yang tidak bisa saya peroleh yakni mengambil semua atau beberapa bagian header (bukan header diatas kolom) yang menjadi judul form tersebut. Judul atau sub judul ini akan disimpan kedalam satu atau beberapa field dalam database MySQL. Selain itu, saya juga membutuhkan script yang pintar untuk memilih cara membaca keragaman format Excel yang ada dengan menggunakan template.

Hasilnya, terbentuklah table yang memiliki 6.622.695 record sebesar 896.2MB. Alhamdulillah proses berjalan lancar tanpa ada kejadian hung. Dijalankan diatas notebook Axioo bermemory 2GB dengan OS –apalagi kalau bukan– Ubuntu 8.04.1 :d

Pekerjaan selanjutnya adalah menganalisis data-data tersebut menggunakan berbagai query untuk mendeteksi anomali data dengan berbagai parameter. Fiuuuhhh #:-S … yok kerja lagi.

Catatan
Script mulanya akan saya upload agar bisa di download oleh siapa pun. Namun dengan berbagai pertimbangan hal tersebut saya tunda terlebih dahulu. Pertama karena ingin merapikan terlebih dahulu script yang dibuat dengan orientasi ‘cepet kelar dan jalankan apa adanya’ ini :d. Kedua karena ingin menambahkan sedikit fitur pada bagian template agar bisa digunakan lebih dinamis.

43 komentar untuk ' 8 Jam 27 Menit '

Subscribe to comments with RSS or TrackBack to ' 8 Jam 27 Menit '.

  1. anton   berkomentar,

    Tanggal 22 July 2008 jam 8:18 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    wah pake mesin apa tuh mas?kl pcnya crash gmn tuh hehehehe. emang data apaan sih segitu besarnya?

  2. Luthfi   berkomentar,

    Tanggal 22 July 2008 jam 9:01 am dari  Australia  Australia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    gak kebayang angka2 yg dianalisa dengan ukuran sampe segede itu *mendadak pusing*

    Luthfi’s last blog post..Huler alias Mesin Penggiling

  3. Rafki RS   berkomentar,

    Tanggal 22 July 2008 jam 9:28 am dari  United Kingdom  United Kingdom
    Menggunakan Firefox Firefox 2.0.0.13 on Windows Windows XP

    Ditunggu dah postingan scriptnya. :-?

  4. anton ashardi   berkomentar,

    Tanggal 22 July 2008 jam 9:41 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    wew… semacam menyiksa :d
    tapi axioo-nya ndak ngembaek kan abis itu?

    anton ashardi’s last blog post..Mesin Penyingkat Kata buat SMSan

  5. ang   berkomentar,

    Tanggal 22 July 2008 jam 11:53 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows Vista

    yang patut disyukuri adalah pekerjaan anda terselesaikan. ^:)^
    ang’s last blog post..Desain User Interface untuk Aplikasi Web

  6. Endoe Ireng   berkomentar,

    Tanggal 22 July 2008 jam 11:59 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.14 on Windows Windows XP

    boleh juga tuh mas…, kalau bisa scripnya yang mudah dibaca, biar mudah dipelajarinya buat saya yang baru belajar php

  7. Riyogarta   berkomentar,

    Tanggal 22 July 2008 jam 12:08 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Linux Linux

    @anton
    Alhamdulillah gak tuh … lancar-lancar ajah ;)

    @Luthfi
    Kalau sudah begini malah gak terlalu pusing, karena semua bisa diselesaikan menggunakan SQL dan beberapa fungsi yang disediakan. Lebih pusing kalau masih dalam bentuk file yang ribuan jumlahnya itu :p

    @Rafki RS
    Nanti ya, sehabis seluruh pekerjaan analisisnya kelar ;)

    @anton ashardi
    Gak tuh … baek2 ajah :p

    @ang
    Belum … :(( … kerjaan belum kelar, masih harus melakukan analisis dulu.

    @Endoe Ireng
    Kayaknya mudah sih :p

  8. ang   berkomentar,

    Tanggal 22 July 2008 jam 12:59 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows Vista

    yang patut disyukuri adalah pekerjaan anda terselesaikan. [-O<

    Eks Sahabat = Sudah tidak bersahabat ;))

  9. ang   berkomentar,

    Tanggal 22 July 2008 jam 1:15 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows Vista

    posting saya yg bawah diapus aja mas Riyo … ke posting dua kali. thanx.

  10. made eka   berkomentar,

    Tanggal 22 July 2008 jam 1:29 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.16 on Windows Windows XP

    kapan yah bikin web secepat bikin sms?? ~X( ~X(
    emang buatnya berapa lama mas??
    salam

    made eka’s last blog post..Bandung dari atas Jembatan Surapati

  11. orangutanz   berkomentar,

    Tanggal 22 July 2008 jam 5:24 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.16 on Windows Windows XP

    ……………………
    ……………………

    (di dalam kepala keluar warning “NOT ENOUGH MEMORY RAM TO PROCEED!!” “NOT ENOUGH MEMORY RAM TO PROCEED!!” “NOT ENOUGH MEMORY RAM TO PROCEED!!”)

    Iri deh sama orang2 yang melek IT. Saya lebih sering mengutak-atik dan setelah berantakan contact orang IT. huahahaha….

    orangutanz’s last blog post..Tinjauan Satria Kelam aka The Dark Knight Review - No Spoiler Alert

  12. Andy MSE   berkomentar,

    Tanggal 22 July 2008 jam 8:51 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.16 on Windows Windows XP

    rwxrwxrwx…. Sama dengan mas Orangutanz, bener-bener IRIIIII…. Sepertinya saya sudah nggak mampu belajar sampai sebegitu… :( Maklum dulu awalnya belajar ngetik saja… Jadi malu, sering sok pintar… Keren deh mas Riyo!

    Andy MSE’s last blog post..Cewek IFK

  13. langitjiwa   berkomentar,

    Tanggal 22 July 2008 jam 10:55 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.12 on Windows Windows XP

    slmt mlm,mas.
    sdh lama aku tak berkunjung ke’rumah’mu ini.

  14. Yuliazmi   berkomentar,

    Tanggal 23 July 2008 jam 1:29 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Linux Linux

    bikin scriptnya cepet…, nunggu selesai konversinya dijalankan-nya itu yang bikin “kenyang”

    Untung nunggu konversinya bisa sambil ditinggal tidur ;))
    Yuliazmi’s last blog post..Happy Delapan

  15. waterbomm   berkomentar,

    Tanggal 23 July 2008 jam 8:01 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    =D> =D> =D>
    mendadak pingsan….
    setuju sama mba yuliazmi..
    ngonversinya butuh waktu berapa lama tuh??? ga kebayang kalo leptopnya ga bermemori 2GB, atau menggunakan OS WIN$ hihi..

    **ngeliat angka nya beuhh…. ngeri** :-SS
    waterbomm’s last blog post..Picture from Bandung (12 - 13 July 2008)

  16. Terasi Rumah   berkomentar,

    Tanggal 23 July 2008 jam 8:57 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    wah
    enak ya kalo laki bini minatnya sama :d
    hihihi
    btw
    Kalo urusan sama data2 dengan format excel, yang dibikin oleh bermacam bentuk orang dengan pengetahuan excel, yang pastinya bermacam2 juga, memang sangat merepotkan.
    Ada yang bikin pake merged cell, ada yang ngumpetin column atau row, ada yang sok rapi sehingga setiap record dipisahkan sebuah row kosong, wah macam-macam deh.
    Jadi penasaran sama script yang dibikin mas Riyo nih…

    Terasi Rumah’s last blog post..QR Code, Barcode Dua Dimensi

  17. the_phenomenon   berkomentar,

    Tanggal 23 July 2008 jam 2:42 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    ^:)^ ampun dah om
    hebaaat…

    the_phenomenon’s last blog post..Mempercepat StartUp dengan Bootvis

  18. yusdi   berkomentar,

    Tanggal 23 July 2008 jam 5:33 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows XP

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    :))
    yusdi’s last blog post..1 Momen Kuraih

  19. yusdi   berkomentar,

    Tanggal 23 July 2008 jam 5:34 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows XP

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    :))
    yusdi’s last blog post..Jadi Korban Review ke 34

  20. yusdi   berkomentar,

    Tanggal 23 July 2008 jam 5:35 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows XP

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    echo”hello world”;

    :))
    yusdi’s last blog post..Jadi Korban Review ke 34

  21. yusdi   berkomentar,

    Tanggal 23 July 2008 jam 5:35 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows XP

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    echo”hello world”;

    :))

  22. sawali tuhusetya   berkomentar,

    Tanggal 23 July 2008 jam 9:54 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    wah, dalam soal bahasa script php, mas riyo memang jagonya, hehehe :lol: disodori angka2 kayak gitu, saya malah jadi makin ndak mudheng, mas, maklum bisanya cuma lagi ngoprek theme. itu pun sering berakgir dg kehancuran tampilan, hehehe :d jadi malu nih sama mas riyo.

    sawali tuhusetya’s last blog post..Nasib Penerbit dan Penulis Buku Teks Pasca-BSE

  23. Andy MSE   berkomentar,

    Tanggal 23 July 2008 jam 10:35 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0b5 on Linux Linux

    :-? kalau saya yang mbikin itu script sampe jalan lancar, bisa makan waktu 8 tahun 27 minggu…

    Andy MSE’s last blog post..Cewek IFK

  24. Rosyidi   berkomentar,

    Tanggal 24 July 2008 jam 8:44 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    wow hebat bener. Kalo aku design simple aja bisa berhari2. Maklum gak mengenal bahasa php. Jadi ya asal tebak aja :D

    Rosyidi’s last blog post..Korupsi Tunggal Ika

  25. Dhimas   berkomentar,

    Tanggal 25 July 2008 jam 7:01 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    Selamat Mas Riyo…
    Selamat berkarya kembali…

    Dhimas’s last blog post..Tool Paling Oke Buat Blog Walking

  26. wira   berkomentar,

    Tanggal 25 July 2008 jam 8:56 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows XP

    kalau saya pasti sudah pingsan, hehehe

    selamat berkerja :d
    wira’s last blog post..Mangku Pastika Lead Bali In The Next Five Year

  27. rama   berkomentar,

    Tanggal 25 July 2008 jam 1:43 pm dari  Australia  Australia
    Menggunakan Firefox Firefox 2.0.0.16 on Windows Windows Vista

    saya lagi bingung coz xampp / apache gak jalan di 64 bit, musti donlot ia compatibility gede banget. :(
    rama’s last blog post..Blog Rusak!!

  28. achoey sang khilaf   berkomentar,

    Tanggal 25 July 2008 jam 6:48 pm dari  Indonesia  Indonesia
    Menggunakan Internet Explorer Internet Explorer 7.0 on Windows Windows XP

    Wah salut sobat :d
    achoey sang khilaf’s last blog post..Musik Pembangkit Semangat

  29. fenny   berkomentar,

    Tanggal 25 July 2008 jam 7:30 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    wahhh kemarin saya membutuhkan tools ituh wekekeke…. soalnya kudu backup ribuan data dari mysql ke excel…. bener-bener melelahkan… bergiga-giga, dengan koneksi seadanya…. genjot sana genjot sini, seharian baru deh kelar… bener-bener menyita jam kerja…

    fenny’s last blog post..Happy Birthday to me… *Updated*

  30. arizane   berkomentar,

    Tanggal 26 July 2008 jam 12:00 am dari  Indonesia  Indonesia
    Menggunakan Opera Opera 9.51 on Windows Windows XP

    aih, lapor kemuri atuh pak..hehe
    selamat yah pak..wah alognya donk pak tologn dijelaskan..sapa tau nanti saya butuh hehe!! :blushing:
    arizane’s last blog post..Kopdar Rumah Blogger

  31. eenx   berkomentar,

    Tanggal 26 July 2008 jam 12:06 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Linux Linux

    Hardwarenya yang jago, apa ubuntu nya yang kuat ya? <:-P

    eenx’s last blog post..Tips menghadapi ujian kuliah tanpa belajar

  32. yella   berkomentar,

    Tanggal 26 July 2008 jam 9:17 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.6 on Windows Windows XP

    mas rio ini sebenere lagi ngerjain apa tho?
    gak mudeng aku
    :-o
    yella’s last blog post..Suatu hari di ruang kuliah

  33. reza   berkomentar,

    Tanggal 27 July 2008 jam 2:20 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.1 on Windows Windows XP

    :)) tuh…, gak usah pusing… dah ada yg siap nemenin tidur… <:-P
    ( invis ah.. takut diomelin…. :wishtling: )

  34. Yeni Setiawan   berkomentar,

    Tanggal 27 July 2008 jam 2:55 am dari  Indonesia  Indonesia
    Menggunakan Opera Opera 9.51 on Linux Linux

    Scriptnya dijalankan lewat konsol atau web browser Mas?

    Yeni Setiawan’s last blog post..Shell Script: Opera Auto Backup

  35. okta sihotang   berkomentar,

    Tanggal 28 July 2008 jam 2:47 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.3 on Windows Windows XP

    wagh..mas riyo, bisa dong aku bagi scriptnya, or algortma nya aja degh..
    pengen juga sih buat aplikasi seperti itu, pembaca file excel..

    btw..gede amat file excelnya mas ??, isinya aada kerbony yak ??

    okta sihotang’s last blog post..No design, no activity, no..no..no…ASTRA(7)

  36. wildan   berkomentar,

    Tanggal 30 July 2008 jam 6:44 am dari    United States
    Menggunakan Firefox Firefox 3.0.1 on Linux Linux

    Wah, hebat beneeerrrr.. oya mas, ini blognya diaksesnya koq lemot ya? :-?

  37. anakgunung   berkomentar,

    Tanggal 30 July 2008 jam 8:10 pm dari  United Kingdom  United Kingdom
    Menggunakan Firefox Firefox 3.0 on Windows Windows XP

    sabar menanti..

  38. kipas   berkomentar,

    Tanggal 31 July 2008 jam 7:59 am dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0 on Windows Windows XP

    Waah … mas riyo emang T.O.P :)
    kipas’s last blog post..Update Page Rank

  39. byeol   berkomentar,

    Tanggal 2 August 2008 jam 11:40 am dari  Indonesia  Indonesia
    Menggunakan Opera Opera 9.27 on Windows Windows XP

    ckckck …. kaga jebol tuh jalanin scriptnya sampe segitu lamanya?
    lah codingnya sendiri berapa lama?

    ” Dijalankan diatas notebook Axioo bermemory 2GB dengan OS –apalagi kalau bukan– Ubuntu 8.04.1″ –> LOL. gimana yang memorynya di bawah ini ya.

    btw, itu Axioo udah dual core? Axioo saya kalo jalanin Netbeans 6 parah banget, sering harus paksa tutup dari Task Manager (masih Windows XP, ga niat pake Vista, udah empet ama Windows), memory 1 GB.

    lama-lama pindah ke Ubuntu juga deh.
    Ubuntu enak pakenya, Mas Riyo?

    byeol’s last blog post..Cows & Politics Explained

  40. creativesimo   berkomentar,

    Tanggal 3 August 2008 jam 5:12 pm dari  Australia  Australia
    Menggunakan Firefox Firefox 3.0.1 on Windows Windows XP

    ^:)^ Empat jempol deh buat Mas Riyo.

  41. Indra Gunawan   berkomentar,

    Tanggal 6 August 2008 jam 1:24 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 3.0.1 on Linux Linux

    Mantaps, Linux memang stabil dan bisa diandalkan :D

    Indra Gunawan’s last blog post..Google SketchUp 6 on Linux

  42. Yan   berkomentar,

    Tanggal 8 September 2008 jam 5:43 pm dari  Indonesia  Indonesia
    Menggunakan Firefox Firefox 2.0.0.6 on Linux Linux

    Mana scriptnya? Harus diperiksa dulu nih. Jangan main klaim sepihak saja dianggap sudah OK :d Harus dibuktikan dulu dengan cara lihat data di excel satu persatu, dan bandingkan dengan yang masuk ke mysql satu persatu. Tidak boleh ada yang salah. Hayoooooo. =))

  43. Toussi   berkomentar,

    Tanggal 19 September 2008 jam 11:24 pm dari  United States  United States
    Menggunakan Internet Explorer Internet Explorer 7.0 on Windows Windows XP

    Good place for hid kitsa>

Komentar Anda





:) :( :)) =)) :p :d :-? :-?? :-w ;;) :blushing: :dancing: ;)) :-o <:-P ~X( [-( X( ^:)^ [-O< :wishtling: more »


Komentar Anda mungkin tidak langsung terlihat akibat wp-super-cache yang dipergunakan pada blog ini.

Comment moderation is enabled. Your comment may take some time to appear.

Subscribe without commenting


close
Belum Punya Blog? Atau Mau Pindah? Silakan buat dan ikuti Kejutannya Disini, di Bedeng.com Tanpa Biaya