Jika Sang Khalik menghendaki, maka semua manusia akan memiliki warna kulit yang sama, agama yang hanya satu, tidak ada yang namanya negara, suku bangsa dan tidak ada perbedaan. Artinya Sang Khalik memang menghendaki adanya perbedaan. Perbedaan adalah hakekat penciptaan. Perbedaan itu indah.

8 Jam 27 Menit

Dikirim: July 22nd, 2008 | Oleh: | Kategori: Diary | 47 Komentar »

Ini adalah rekor yang baru saja saya ciptakan untuk pekerjaan saya sebagai seorang pembuat script PHP. Delapan jam Duapuluh Tujuh menit ini bukan waktu yang dibutuhkan untuk membuat sebuah script, namun waktu yang dibutuhkan untuk menjalankan script tersebut hingga selesai tanpa gangguan.

Bermula dari pekerjaan untuk menganalisis data, saya membutuhkan script yang mampu mengkoversikan 2.716 file excel dengan format yang berbeda-beda dan masing-masing memiliki ukuran rata-rata  1.9GB / 2.716 =  699.56KB kedalam database MySQL.

Sebenarnya Eks Sahabat saya sudah membuatan tools untuk hal ini menggunakan Delphi. Hanya berdasarkan pengalaman yang sudah-sudah, tools ini memiliki keterbatasan dalam melakukan konversi data dalam jumlah yang sangat banyak. Belum lagi keterbatasan dalam mengambil jenis data yang tidak standar.

Pencarian dasar script untuk melakukan konversi membuat diri saya mampir ke blog salah satu sahabat saya di PHPUG, lalu mampir kemari dan akhirnya saya dapatkan Excel Reader yang sudah bersih dari PEAR Library. Setelah itu, saya buat sebuah script sederhana yang memanfaatkan library Excel Reader tersebut untuk membaca semua file excel dan menuliskannya kedalam database MySQL. Untuk memecahkan masalah keragaman format yang ada, saya membuat template pembacaan yang akan dipilih oleh script secara ototmatis dengan melakukan perbandingan antara template yang ada dengan file Excel yang dibaca.

Kenapa tidak menggunakan library yang sudah dibuat Suhu Anghuda saja?
Mulanya saya ingin menggunakannya, namun ada beberapa hal yang tidak bisa saya peroleh yakni mengambil semua atau beberapa bagian header (bukan header diatas kolom) yang menjadi judul form tersebut. Judul atau sub judul ini akan disimpan kedalam satu atau beberapa field dalam database MySQL. Selain itu, saya juga membutuhkan script yang pintar untuk memilih cara membaca keragaman format Excel yang ada dengan menggunakan template.

Hasilnya, terbentuklah table yang memiliki 6.622.695 record sebesar 896.2MB. Alhamdulillah proses berjalan lancar tanpa ada kejadian hung. Dijalankan diatas notebook Axioo bermemory 2GB dengan OS –apalagi kalau bukan– Ubuntu 8.04.1 :d

Pekerjaan selanjutnya adalah menganalisis data-data tersebut menggunakan berbagai query untuk mendeteksi anomali data dengan berbagai parameter. Fiuuuhhh #:-S … yok kerja lagi.

Catatan
Script mulanya akan saya upload agar bisa di download oleh siapa pun. Namun dengan berbagai pertimbangan hal tersebut saya tunda terlebih dahulu. Pertama karena ingin merapikan terlebih dahulu script yang dibuat dengan orientasi ‘cepet kelar dan jalankan apa adanya’ ini :d. Kedua karena ingin menambahkan sedikit fitur pada bagian template agar bisa digunakan lebih dinamis.


47 komentar untuk “8 Jam 27 Menit”

  1. 1
    anton
    berkomentar pada jam 8:18 am
    tanggal 22 July 2008

    wah pake mesin apa tuh mas?kl pcnya crash gmn tuh hehehehe. emang data apaan sih segitu besarnya?

  2. 2
    Luthfi
    berkomentar pada jam 9:01 am
    tanggal 22 July 2008

    gak kebayang angka2 yg dianalisa dengan ukuran sampe segede itu *mendadak pusing*

    Luthfi’s last blog post..Huler alias Mesin Penggiling

  3. 3
    Rafki RS
    berkomentar pada jam 9:28 am
    tanggal 22 July 2008

    Ditunggu dah postingan scriptnya. :-?

  4. 4
    anton ashardi
    berkomentar pada jam 9:41 am
    tanggal 22 July 2008

    wew… semacam menyiksa :d
    tapi axioo-nya ndak ngembaek kan abis itu?

    anton ashardi’s last blog post..Mesin Penyingkat Kata buat SMSan

  5. 5
    ang
    berkomentar pada jam 11:53 am
    tanggal 22 July 2008

    yang patut disyukuri adalah pekerjaan anda terselesaikan. ^:)^

    ang’s last blog post..Desain User Interface untuk Aplikasi Web

  6. 6
    Endoe Ireng
    berkomentar pada jam 11:59 am
    tanggal 22 July 2008

    boleh juga tuh mas…, kalau bisa scripnya yang mudah dibaca, biar mudah dipelajarinya buat saya yang baru belajar php

  7. 7
    Riyogarta
    berkomentar pada jam 12:08 pm
    tanggal 22 July 2008

    @anton
    Alhamdulillah gak tuh … lancar-lancar ajah ;)

    @Luthfi
    Kalau sudah begini malah gak terlalu pusing, karena semua bisa diselesaikan menggunakan SQL dan beberapa fungsi yang disediakan. Lebih pusing kalau masih dalam bentuk file yang ribuan jumlahnya itu :p

    @Rafki RS
    Nanti ya, sehabis seluruh pekerjaan analisisnya kelar ;)

    @anton ashardi
    Gak tuh … baek2 ajah :p

    @ang
    Belum … :(( … kerjaan belum kelar, masih harus melakukan analisis dulu.

    @Endoe Ireng
    Kayaknya mudah sih :p

  8. 8
    ang
    berkomentar pada jam 12:59 pm
    tanggal 22 July 2008

    yang patut disyukuri adalah pekerjaan anda terselesaikan. [-O<

    Eks Sahabat = Sudah tidak bersahabat ;))

  9. 9
    ang
    berkomentar pada jam 1:15 pm
    tanggal 22 July 2008

    posting saya yg bawah diapus aja mas Riyo … ke posting dua kali. thanx.

  10. 10
    made eka
    berkomentar pada jam 1:29 pm
    tanggal 22 July 2008

    kapan yah bikin web secepat bikin sms?? ~X( ~X(
    emang buatnya berapa lama mas??
    salam

    made eka’s last blog post..Bandung dari atas Jembatan Surapati

  11. 11
    orangutanz
    berkomentar pada jam 5:24 pm
    tanggal 22 July 2008

    ……………………
    ……………………

    (di dalam kepala keluar warning “NOT ENOUGH MEMORY RAM TO PROCEED!!” “NOT ENOUGH MEMORY RAM TO PROCEED!!” “NOT ENOUGH MEMORY RAM TO PROCEED!!”)

    Iri deh sama orang2 yang melek IT. Saya lebih sering mengutak-atik dan setelah berantakan contact orang IT. huahahaha….

    orangutanz’s last blog post..Tinjauan Satria Kelam aka The Dark Knight Review – No Spoiler Alert

  12. 12
    Andy MSE
    berkomentar pada jam 8:51 pm
    tanggal 22 July 2008

    rwxrwxrwx…. Sama dengan mas Orangutanz, bener-bener IRIIIII…. Sepertinya saya sudah nggak mampu belajar sampai sebegitu… :( Maklum dulu awalnya belajar ngetik saja… Jadi malu, sering sok pintar… Keren deh mas Riyo!

    Andy MSE’s last blog post..Cewek IFK

  13. 13
    langitjiwa
    berkomentar pada jam 10:55 pm
    tanggal 22 July 2008

    slmt mlm,mas.
    sdh lama aku tak berkunjung ke’rumah’mu ini.

  14. 14
    Yuliazmi
    berkomentar pada jam 1:29 am
    tanggal 23 July 2008

    bikin scriptnya cepet…, nunggu selesai konversinya dijalankan-nya itu yang bikin “kenyang”

    Untung nunggu konversinya bisa sambil ditinggal tidur ;))

    Yuliazmi’s last blog post..Happy Delapan

  15. 15
    waterbomm
    berkomentar pada jam 8:01 am
    tanggal 23 July 2008

    =D> =D> =D>
    mendadak pingsan….
    setuju sama mba yuliazmi..
    ngonversinya butuh waktu berapa lama tuh??? ga kebayang kalo leptopnya ga bermemori 2GB, atau menggunakan OS WIN$ hihi..

    **ngeliat angka nya beuhh…. ngeri** :-SS

    waterbomm’s last blog post..Picture from Bandung (12 – 13 July 2008)

  16. 16
    Terasi Rumah
    berkomentar pada jam 8:57 am
    tanggal 23 July 2008

    wah
    enak ya kalo laki bini minatnya sama :d
    hihihi
    btw
    Kalo urusan sama data2 dengan format excel, yang dibikin oleh bermacam bentuk orang dengan pengetahuan excel, yang pastinya bermacam2 juga, memang sangat merepotkan.
    Ada yang bikin pake merged cell, ada yang ngumpetin column atau row, ada yang sok rapi sehingga setiap record dipisahkan sebuah row kosong, wah macam-macam deh.
    Jadi penasaran sama script yang dibikin mas Riyo nih…

    Terasi Rumah’s last blog post..QR Code, Barcode Dua Dimensi

  17. 17
    the_phenomenon
    berkomentar pada jam 2:42 pm
    tanggal 23 July 2008

    ^:)^ ampun dah om
    hebaaat…

    the_phenomenon’s last blog post..Mempercepat StartUp dengan Bootvis

  18. 18
    yusdi
    berkomentar pada jam 5:33 pm
    tanggal 23 July 2008

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    :))

    yusdi’s last blog post..1 Momen Kuraih

  19. 19
    yusdi
    berkomentar pada jam 5:34 pm
    tanggal 23 July 2008

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    :))

    yusdi’s last blog post..Jadi Korban Review ke 34

  20. 20
    yusdi
    berkomentar pada jam 5:35 pm
    tanggal 23 July 2008

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    echo”hello world”;

    :))

    yusdi’s last blog post..Jadi Korban Review ke 34

  21. 21
    yusdi
    berkomentar pada jam 5:35 pm
    tanggal 23 July 2008

    waw keren…..terus berkarya om…. ^:)^
    kalau saya buat script php bisa kurang dari 1 menit

    echo”hello world”;

    :))

  22. 22
    sawali tuhusetya
    berkomentar pada jam 9:54 pm
    tanggal 23 July 2008

    wah, dalam soal bahasa script php, mas riyo memang jagonya, hehehe :lol: disodori angka2 kayak gitu, saya malah jadi makin ndak mudheng, mas, maklum bisanya cuma lagi ngoprek theme. itu pun sering berakgir dg kehancuran tampilan, hehehe :d jadi malu nih sama mas riyo.

    sawali tuhusetya’s last blog post..Nasib Penerbit dan Penulis Buku Teks Pasca-BSE

  23. 23
    Andy MSE
    berkomentar pada jam 10:35 pm
    tanggal 23 July 2008

    :-? kalau saya yang mbikin itu script sampe jalan lancar, bisa makan waktu 8 tahun 27 minggu…

    Andy MSE’s last blog post..Cewek IFK

  24. 24
    Rosyidi
    berkomentar pada jam 8:44 pm
    tanggal 24 July 2008

    wow hebat bener. Kalo aku design simple aja bisa berhari2. Maklum gak mengenal bahasa php. Jadi ya asal tebak aja :D

    Rosyidi’s last blog post..Korupsi Tunggal Ika

  25. 25
    Dhimas
    berkomentar pada jam 7:01 am
    tanggal 25 July 2008

    Selamat Mas Riyo…
    Selamat berkarya kembali…

    Dhimas’s last blog post..Tool Paling Oke Buat Blog Walking

  26. 26
    wira
    berkomentar pada jam 8:56 am
    tanggal 25 July 2008

    kalau saya pasti sudah pingsan, hehehe

    selamat berkerja :d

    wira’s last blog post..Mangku Pastika Lead Bali In The Next Five Year

  27. 27
    rama
    berkomentar pada jam 1:43 pm
    tanggal 25 July 2008

    saya lagi bingung coz xampp / apache gak jalan di 64 bit, musti donlot ia compatibility gede banget. :(

    rama’s last blog post..Blog Rusak!!

  28. 28
    achoey sang khilaf
    berkomentar pada jam 6:48 pm
    tanggal 25 July 2008

    Wah salut sobat :d

    achoey sang khilaf’s last blog post..Musik Pembangkit Semangat

  29. 29
    fenny
    berkomentar pada jam 7:30 pm
    tanggal 25 July 2008

    wahhh kemarin saya membutuhkan tools ituh wekekeke…. soalnya kudu backup ribuan data dari mysql ke excel…. bener-bener melelahkan… bergiga-giga, dengan koneksi seadanya…. genjot sana genjot sini, seharian baru deh kelar… bener-bener menyita jam kerja…

    fenny’s last blog post..Happy Birthday to me… *Updated*

  30. 30
    arizane
    berkomentar pada jam 12:00 am
    tanggal 26 July 2008

    aih, lapor kemuri atuh pak..hehe
    selamat yah pak..wah alognya donk pak tologn dijelaskan..sapa tau nanti saya butuh hehe!! :blushing:

    arizane’s last blog post..Kopdar Rumah Blogger

  31. 31
    eenx
    berkomentar pada jam 12:06 pm
    tanggal 26 July 2008

    Hardwarenya yang jago, apa ubuntu nya yang kuat ya? <:-P

    eenx’s last blog post..Tips menghadapi ujian kuliah tanpa belajar

  32. 32
    yella
    berkomentar pada jam 9:17 pm
    tanggal 26 July 2008

    mas rio ini sebenere lagi ngerjain apa tho?
    gak mudeng aku
    :-o

    yella’s last blog post..Suatu hari di ruang kuliah

  33. 33
    reza
    berkomentar pada jam 2:20 am
    tanggal 27 July 2008

    :)) tuh…, gak usah pusing… dah ada yg siap nemenin tidur… <:-P
    ( invis ah.. takut diomelin…. :wishtling: )

  34. 34
    Yeni Setiawan
    berkomentar pada jam 2:55 am
    tanggal 27 July 2008

    Scriptnya dijalankan lewat konsol atau web browser Mas?

    Yeni Setiawan’s last blog post..Shell Script: Opera Auto Backup

  35. 35
    okta sihotang
    berkomentar pada jam 2:47 pm
    tanggal 28 July 2008

    wagh..mas riyo, bisa dong aku bagi scriptnya, or algortma nya aja degh..
    pengen juga sih buat aplikasi seperti itu, pembaca file excel..

    btw..gede amat file excelnya mas ??, isinya aada kerbony yak ??

    okta sihotang’s last blog post..No design, no activity, no..no..no…ASTRA(7)

  36. 36
    wildan
    berkomentar pada jam 6:44 am
    tanggal 30 July 2008

    Wah, hebat beneeerrrr.. oya mas, ini blognya diaksesnya koq lemot ya? :-?

  37. 37
    anakgunung
    berkomentar pada jam 8:10 pm
    tanggal 30 July 2008

    sabar menanti..

  38. 38
    kipas
    berkomentar pada jam 7:59 am
    tanggal 31 July 2008

    Waah … mas riyo emang T.O.P :)

    kipas’s last blog post..Update Page Rank

  39. 39
    byeol
    berkomentar pada jam 11:40 am
    tanggal 2 August 2008

    ckckck …. kaga jebol tuh jalanin scriptnya sampe segitu lamanya?
    lah codingnya sendiri berapa lama?

    ” Dijalankan diatas notebook Axioo bermemory 2GB dengan OS –apalagi kalau bukan– Ubuntu 8.04.1″ –> LOL. gimana yang memorynya di bawah ini ya.

    btw, itu Axioo udah dual core? Axioo saya kalo jalanin Netbeans 6 parah banget, sering harus paksa tutup dari Task Manager (masih Windows XP, ga niat pake Vista, udah empet ama Windows), memory 1 GB.

    lama-lama pindah ke Ubuntu juga deh.
    Ubuntu enak pakenya, Mas Riyo?

    byeol’s last blog post..Cows & Politics Explained

  40. 40
    creativesimo
    berkomentar pada jam 5:12 pm
    tanggal 3 August 2008

    ^:)^ Empat jempol deh buat Mas Riyo.

  41. 41
    Indra Gunawan
    berkomentar pada jam 1:24 pm
    tanggal 6 August 2008

    Mantaps, Linux memang stabil dan bisa diandalkan :D

    Indra Gunawan’s last blog post..Google SketchUp 6 on Linux

  42. 42
    Yan
    berkomentar pada jam 5:43 pm
    tanggal 8 September 2008

    Mana scriptnya? Harus diperiksa dulu nih. Jangan main klaim sepihak saja dianggap sudah OK :d Harus dibuktikan dulu dengan cara lihat data di excel satu persatu, dan bandingkan dengan yang masuk ke mysql satu persatu. Tidak boleh ada yang salah. Hayoooooo. =))

  43. 43
    Toussi
    berkomentar pada jam 11:24 pm
    tanggal 19 September 2008

    Good place for hid kitsa>

  44. 44
    anis
    berkomentar pada jam 1:06 am
    tanggal 21 June 2009

    saya tertarik dengan tulisan anda tentang report ke excell dari php..saya sudah mencoba dua cara,1 pake fungsi header content ,baca dr tag html2. pake kelas excell yang mengharus kan ada 2 file yaitu workbook.php dan workbook.sheet..
    tapi saya lebih menyukai cara pertama,habis tidak terlalu ribet.akan tetapi saya mengalamai kendala pada cara pertama.karena kita tidak dapat mengirimkan tag html img ke pada excell..
    yang mau saya tanyakan,adakah cara mudah export gambar dr php/html ke excell..??????
    ditunggu jawabannya di email saya..
    Terima Kasih

  45. 45
    HID
    berkomentar pada jam 3:50 am
    tanggal 31 July 2009

    boleh juga tuh mas…, kalau bisa scripnya yang mudah dibaca, biar mudah dipelajarinya buat saya yang baru belajar php

  46. 46
    jabon
    berkomentar pada jam 6:23 pm
    tanggal 16 July 2010

    waduch,, kalo masalah ginian dikit-dikit taunya, hehe ngak pengalaman

  47. 47
    Catatan » Blog Archive » DP Tools
    berkomentar pada jam 11:46 am
    tanggal 15 December 2011

    [...] dari pekerjaan mengkonversikan sejumlah file excel yang memiliki banyak format ke dalam database MySql, akhirnya script yang dibangun tambal sulam, [...]


Isi Komentar


  • *