8 Jam 27 Menit
Dikirim: July 22nd, 2008 | Oleh: Riyogarta | Kategori: Diary | 46 Komentar »Ini adalah rekor yang baru saja saya ciptakan untuk pekerjaan saya sebagai seorang pembuat script PHP. Delapan jam Duapuluh Tujuh menit ini bukan waktu yang dibutuhkan untuk membuat sebuah script, namun waktu yang dibutuhkan untuk menjalankan script tersebut hingga selesai tanpa gangguan.
Bermula dari pekerjaan untuk menganalisis data, saya membutuhkan script yang mampu mengkoversikan 2.716 file excel dengan format yang berbeda-beda dan masing-masing memiliki ukuran rata-rata 1.9GB / 2.716 = 699.56KB kedalam database MySQL.
Sebenarnya Eks Sahabat saya sudah membuatan tools untuk hal ini menggunakan Delphi. Hanya berdasarkan pengalaman yang sudah-sudah, tools ini memiliki keterbatasan dalam melakukan konversi data dalam jumlah yang sangat banyak. Belum lagi keterbatasan dalam mengambil jenis data yang tidak standar.
Pencarian dasar script untuk melakukan konversi membuat diri saya mampir ke blog salah satu sahabat saya di PHPUG, lalu mampir kemari dan akhirnya saya dapatkan Excel Reader yang sudah bersih dari PEAR Library. Setelah itu, saya buat sebuah script sederhana yang memanfaatkan library Excel Reader tersebut untuk membaca semua file excel dan menuliskannya kedalam database MySQL. Untuk memecahkan masalah keragaman format yang ada, saya membuat template pembacaan yang akan dipilih oleh script secara ototmatis dengan melakukan perbandingan antara template yang ada dengan file Excel yang dibaca.
Kenapa tidak menggunakan library yang sudah dibuat Suhu Anghuda saja?
Mulanya saya ingin menggunakannya, namun ada beberapa hal yang tidak bisa saya peroleh yakni mengambil semua atau beberapa bagian header (bukan header diatas kolom) yang menjadi judul form tersebut. Judul atau sub judul ini akan disimpan kedalam satu atau beberapa field dalam database MySQL. Selain itu, saya juga membutuhkan script yang pintar untuk memilih cara membaca keragaman format Excel yang ada dengan menggunakan template.
Hasilnya, terbentuklah table yang memiliki 6.622.695 record sebesar 896.2MB. Alhamdulillah proses berjalan lancar tanpa ada kejadian hung. Dijalankan diatas notebook Axioo bermemory 2GB dengan OS –apalagi kalau bukan– Ubuntu 8.04.1 
Pekerjaan selanjutnya adalah menganalisis data-data tersebut menggunakan berbagai query untuk mendeteksi anomali data dengan berbagai parameter. Fiuuuhhh 
… yok kerja lagi.
Catatan
Script mulanya akan saya upload agar bisa di download oleh siapa pun. Namun dengan berbagai pertimbangan hal tersebut saya tunda terlebih dahulu. Pertama karena ingin merapikan terlebih dahulu script yang dibuat dengan orientasi ‘cepet kelar dan jalankan apa adanya’ ini . Kedua karena ingin menambahkan sedikit fitur pada bagian template agar bisa digunakan lebih dinamis.
Related posts:
berkomentar pada jam 8:18 am
tanggal 22 July 2008
wah pake mesin apa tuh mas?kl pcnya crash gmn tuh hehehehe. emang data apaan sih segitu besarnya?
berkomentar pada jam 9:01 am
tanggal 22 July 2008
gak kebayang angka2 yg dianalisa dengan ukuran sampe segede itu *mendadak pusing*
Luthfi’s last blog post..Huler alias Mesin Penggiling
berkomentar pada jam 9:28 am
tanggal 22 July 2008
Ditunggu dah postingan scriptnya.
berkomentar pada jam 9:41 am
tanggal 22 July 2008
wew… semacam menyiksa
tapi axioo-nya ndak ngembaek kan abis itu?
anton ashardi’s last blog post..Mesin Penyingkat Kata buat SMSan
berkomentar pada jam 11:53 am
tanggal 22 July 2008
yang patut disyukuri adalah pekerjaan anda terselesaikan.
ang’s last blog post..Desain User Interface untuk Aplikasi Web
berkomentar pada jam 11:59 am
tanggal 22 July 2008
boleh juga tuh mas…, kalau bisa scripnya yang mudah dibaca, biar mudah dipelajarinya buat saya yang baru belajar php
berkomentar pada jam 12:08 pm
tanggal 22 July 2008
@anton
Alhamdulillah gak tuh … lancar-lancar ajah
@Luthfi
Kalau sudah begini malah gak terlalu pusing, karena semua bisa diselesaikan menggunakan SQL dan beberapa fungsi yang disediakan. Lebih pusing kalau masih dalam bentuk file yang ribuan jumlahnya itu
@Rafki RS
Nanti ya, sehabis seluruh pekerjaan analisisnya kelar
@anton ashardi
Gak tuh … baek2 ajah
@ang
… kerjaan belum kelar, masih harus melakukan analisis dulu.
Belum …
@Endoe Ireng
Kayaknya mudah sih
berkomentar pada jam 12:59 pm
tanggal 22 July 2008
yang patut disyukuri adalah pekerjaan anda terselesaikan. [-O<
Eks Sahabat = Sudah tidak bersahabat
berkomentar pada jam 1:15 pm
tanggal 22 July 2008
posting saya yg bawah diapus aja mas Riyo … ke posting dua kali. thanx.
berkomentar pada jam 1:29 pm
tanggal 22 July 2008
kapan yah bikin web secepat bikin sms??
emang buatnya berapa lama mas??
salam
made eka’s last blog post..Bandung dari atas Jembatan Surapati
berkomentar pada jam 5:24 pm
tanggal 22 July 2008
……………………
……………………
(di dalam kepala keluar warning “NOT ENOUGH MEMORY RAM TO PROCEED!!” “NOT ENOUGH MEMORY RAM TO PROCEED!!” “NOT ENOUGH MEMORY RAM TO PROCEED!!”)
Iri deh sama orang2 yang melek IT. Saya lebih sering mengutak-atik dan setelah berantakan contact orang IT. huahahaha….
orangutanz’s last blog post..Tinjauan Satria Kelam aka The Dark Knight Review – No Spoiler Alert
berkomentar pada jam 8:51 pm
tanggal 22 July 2008
rwxrwxrwx…. Sama dengan mas Orangutanz, bener-bener IRIIIII…. Sepertinya saya sudah nggak mampu belajar sampai sebegitu…
Maklum dulu awalnya belajar ngetik saja… Jadi malu, sering sok pintar… Keren deh mas Riyo!
Andy MSE’s last blog post..Cewek IFK
berkomentar pada jam 10:55 pm
tanggal 22 July 2008
slmt mlm,mas.
sdh lama aku tak berkunjung ke’rumah’mu ini.
berkomentar pada jam 1:29 am
tanggal 23 July 2008
bikin scriptnya cepet…, nunggu selesai konversinya dijalankan-nya itu yang bikin “kenyang”
Untung nunggu konversinya bisa sambil ditinggal tidur
Yuliazmi’s last blog post..Happy Delapan
berkomentar pada jam 8:01 am
tanggal 23 July 2008
=D> =D> =D>
mendadak pingsan….
setuju sama mba yuliazmi..
ngonversinya butuh waktu berapa lama tuh??? ga kebayang kalo leptopnya ga bermemori 2GB, atau menggunakan OS WIN$ hihi..
**ngeliat angka nya beuhh…. ngeri**
waterbomm’s last blog post..Picture from Bandung (12 – 13 July 2008)
berkomentar pada jam 8:57 am
tanggal 23 July 2008
wah
enak ya kalo laki bini minatnya sama
hihihi
btw
Kalo urusan sama data2 dengan format excel, yang dibikin oleh bermacam bentuk orang dengan pengetahuan excel, yang pastinya bermacam2 juga, memang sangat merepotkan.
Ada yang bikin pake merged cell, ada yang ngumpetin column atau row, ada yang sok rapi sehingga setiap record dipisahkan sebuah row kosong, wah macam-macam deh.
Jadi penasaran sama script yang dibikin mas Riyo nih…
Terasi Rumah’s last blog post..QR Code, Barcode Dua Dimensi
berkomentar pada jam 2:42 pm
tanggal 23 July 2008
hebaaat…
the_phenomenon’s last blog post..Mempercepat StartUp dengan Bootvis
berkomentar pada jam 5:33 pm
tanggal 23 July 2008
waw keren…..terus berkarya om….
kalau saya buat script php bisa kurang dari 1 menit
yusdi’s last blog post..1 Momen Kuraih
berkomentar pada jam 5:34 pm
tanggal 23 July 2008
waw keren…..terus berkarya om….
kalau saya buat script php bisa kurang dari 1 menit
yusdi’s last blog post..Jadi Korban Review ke 34
berkomentar pada jam 5:35 pm
tanggal 23 July 2008
waw keren…..terus berkarya om….
kalau saya buat script php bisa kurang dari 1 menit
echo”hello world”;
yusdi’s last blog post..Jadi Korban Review ke 34
berkomentar pada jam 5:35 pm
tanggal 23 July 2008
waw keren…..terus berkarya om….
kalau saya buat script php bisa kurang dari 1 menit
echo”hello world”;
berkomentar pada jam 9:54 pm
tanggal 23 July 2008
wah, dalam soal bahasa script php, mas riyo memang jagonya, hehehe :lol: disodori angka2 kayak gitu, saya malah jadi makin ndak mudheng, mas, maklum bisanya cuma lagi ngoprek theme. itu pun sering berakgir dg kehancuran tampilan, hehehe
jadi malu nih sama mas riyo.
sawali tuhusetya’s last blog post..Nasib Penerbit dan Penulis Buku Teks Pasca-BSE
berkomentar pada jam 10:35 pm
tanggal 23 July 2008
Andy MSE’s last blog post..Cewek IFK
berkomentar pada jam 8:44 pm
tanggal 24 July 2008
wow hebat bener. Kalo aku design simple aja bisa berhari2. Maklum gak mengenal bahasa php. Jadi ya asal tebak aja :D
Rosyidi’s last blog post..Korupsi Tunggal Ika
berkomentar pada jam 7:01 am
tanggal 25 July 2008
Selamat Mas Riyo…
Selamat berkarya kembali…
Dhimas’s last blog post..Tool Paling Oke Buat Blog Walking
berkomentar pada jam 8:56 am
tanggal 25 July 2008
kalau saya pasti sudah pingsan, hehehe
selamat berkerja
wira’s last blog post..Mangku Pastika Lead Bali In The Next Five Year
berkomentar pada jam 1:43 pm
tanggal 25 July 2008
saya lagi bingung coz xampp / apache gak jalan di 64 bit, musti donlot ia compatibility gede banget.
rama’s last blog post..Blog Rusak!!
berkomentar pada jam 6:48 pm
tanggal 25 July 2008
Wah salut sobat
achoey sang khilaf’s last blog post..Musik Pembangkit Semangat
berkomentar pada jam 7:30 pm
tanggal 25 July 2008
wahhh kemarin saya membutuhkan tools ituh wekekeke…. soalnya kudu backup ribuan data dari mysql ke excel…. bener-bener melelahkan… bergiga-giga, dengan koneksi seadanya…. genjot sana genjot sini, seharian baru deh kelar… bener-bener menyita jam kerja…
fenny’s last blog post..Happy Birthday to me… *Updated*
berkomentar pada jam 12:00 am
tanggal 26 July 2008
aih, lapor kemuri atuh pak..hehe
selamat yah pak..wah alognya donk pak tologn dijelaskan..sapa tau nanti saya butuh hehe!!
arizane’s last blog post..Kopdar Rumah Blogger
berkomentar pada jam 12:06 pm
tanggal 26 July 2008
Hardwarenya yang jago, apa ubuntu nya yang kuat ya? <:-P
eenx’s last blog post..Tips menghadapi ujian kuliah tanpa belajar
berkomentar pada jam 9:17 pm
tanggal 26 July 2008
mas rio ini sebenere lagi ngerjain apa tho?
gak mudeng aku
yella’s last blog post..Suatu hari di ruang kuliah
berkomentar pada jam 2:20 am
tanggal 27 July 2008
( invis ah.. takut diomelin….
berkomentar pada jam 2:55 am
tanggal 27 July 2008
Scriptnya dijalankan lewat konsol atau web browser Mas?
Yeni Setiawan’s last blog post..Shell Script: Opera Auto Backup
berkomentar pada jam 2:47 pm
tanggal 28 July 2008
wagh..mas riyo, bisa dong aku bagi scriptnya, or algortma nya aja degh..
pengen juga sih buat aplikasi seperti itu, pembaca file excel..
btw..gede amat file excelnya mas ??, isinya aada kerbony yak ??
okta sihotang’s last blog post..No design, no activity, no..no..no…ASTRA(7)
berkomentar pada jam 6:44 am
tanggal 30 July 2008
Wah, hebat beneeerrrr.. oya mas, ini blognya diaksesnya koq lemot ya?
berkomentar pada jam 8:10 pm
tanggal 30 July 2008
sabar menanti..
berkomentar pada jam 7:59 am
tanggal 31 July 2008
Waah … mas riyo emang T.O.P
kipas’s last blog post..Update Page Rank
berkomentar pada jam 11:40 am
tanggal 2 August 2008
ckckck …. kaga jebol tuh jalanin scriptnya sampe segitu lamanya?
lah codingnya sendiri berapa lama?
” Dijalankan diatas notebook Axioo bermemory 2GB dengan OS –apalagi kalau bukan– Ubuntu 8.04.1″ –> LOL. gimana yang memorynya di bawah ini ya.
btw, itu Axioo udah dual core? Axioo saya kalo jalanin Netbeans 6 parah banget, sering harus paksa tutup dari Task Manager (masih Windows XP, ga niat pake Vista, udah empet ama Windows), memory 1 GB.
lama-lama pindah ke Ubuntu juga deh.
Ubuntu enak pakenya, Mas Riyo?
byeol’s last blog post..Cows & Politics Explained
berkomentar pada jam 5:12 pm
tanggal 3 August 2008
berkomentar pada jam 1:24 pm
tanggal 6 August 2008
Mantaps, Linux memang stabil dan bisa diandalkan :D
Indra Gunawan’s last blog post..Google SketchUp 6 on Linux
berkomentar pada jam 5:43 pm
tanggal 8 September 2008
Mana scriptnya? Harus diperiksa dulu nih. Jangan main klaim sepihak saja dianggap sudah OK
Harus dibuktikan dulu dengan cara lihat data di excel satu persatu, dan bandingkan dengan yang masuk ke mysql satu persatu. Tidak boleh ada yang salah. Hayoooooo. 
berkomentar pada jam 11:24 pm
tanggal 19 September 2008
Good place for hid kitsa>
berkomentar pada jam 1:06 am
tanggal 21 June 2009
saya tertarik dengan tulisan anda tentang report ke excell dari php..saya sudah mencoba dua cara,1 pake fungsi header content ,baca dr tag html2. pake kelas excell yang mengharus kan ada 2 file yaitu workbook.php dan workbook.sheet..
tapi saya lebih menyukai cara pertama,habis tidak terlalu ribet.akan tetapi saya mengalamai kendala pada cara pertama.karena kita tidak dapat mengirimkan tag html img ke pada excell..
yang mau saya tanyakan,adakah cara mudah export gambar dr php/html ke excell..??????
ditunggu jawabannya di email saya..
Terima Kasih
berkomentar pada jam 3:50 am
tanggal 31 July 2009
boleh juga tuh mas…, kalau bisa scripnya yang mudah dibaca, biar mudah dipelajarinya buat saya yang baru belajar php
berkomentar pada jam 6:23 pm
tanggal 16 July 2010
waduch,, kalo masalah ginian dikit-dikit taunya, hehe ngak pengalaman