Tulisan kali ini tidak secara khusus menjelaskan tiga proses yang telah disebutkan dalam judul. Kali ini gw coba berbagi satu kasus berkaitan dengan ketiganya. Kurang lebih kasus yang dihadapi adalah seperti ini:

1. upload batch file berkestensi .txt,
2. membaca per-baris file yang diupload, memvalidasi, dan insert ke dalam table
3. batasan max_execution_time.

Bisakah pirsawan bayangkan gimana kalau data yang diupload itu misalnya terdiri lebih dari 100.000 baris kemudian akan kita entri ke dalam database, dengan kriteria macam-macam yang mengakibatkan setiap baris yang akan di entri ke dalam database harus divalidasi, kemudian dicatatkan log berhasil tidaknya dst.. Sangat besar kemungkinan sebelum program kita mencapai baris ke 100.000, program kita akan berhenti karena kehabisan nafas. timeout, halt, modyar.

Nah kali ini, saya mau berbagi kali aja ada yang mau nangkep. Ide besarnya adalah membagi 100.000 baris data tadi kedalam segmen-segmen kecil sehingga tiap segmen behasil dieksekusi tanpa mengakibatkan program validasi kita kehabisan nafas.

Berikut pseudocode-nya.

1. form upload: user upload file .txt,
2. submit: file diupload ke dalam satu folder tertentu.,
3. segera setelah data berhasil diupload, jalankan script untuk membaca file,
   • baca panjang baris data (  while( fgets() ) $i++   )
   • tentukan jumlah baris paling aman, sehingga proses validasi tidak halt (sebut satu segmen, misal 1000 baris)
   • mulai baca  perbaris data sampai batas atas segmen
   • ketika mencapai ujung  segmen, stop pembacaan
   • kembalikan ke view (buat pesan sesuai selera) panggil fungsi untuk membaca segmen ke 2.
   • lakukan hingga program membaca baris paling akhir
4. ketika pembacaan berakhir beri user kabar gembira, entri telah berhasil

Cara di atas menggunakan ajax sehingga proses eksekusi antar segmen bisa berlangsung. Ketika satu segmen telah selesai dibaca, lakukan eksekusi fungsi melalui ajax dengan parameter (segment, namafile dst).

Sok atuh kalo ada yang mau tanya.. dari gaya tulisnya sih.. musti banyak yang dipertanyakan..

UI upload,validate

Traversa

Alhamdulillah (atau astaghfirullah) awal tahun ini dapet amanah baru, dapet kesempatan baru untuk me-lead developer untuk membuat sebuat aplikasi managemen routing untuk satu perusahaan telco. Ada beberapa hal yang harus dipersiapkan kurasa untuk menunjang keberhasilan proyek ini. Dikarenakan tatap muka yang tidak begitu intens maka kemungkinan gagalnya proyek ini cukup besar. Seluruh aktivitas dilakukan secara online.

1. subversion
   sebuah system untuk mengontrol source code yang dikembangkan. system ini sangat penting karena pengguna (pengembang) source code terdiri lebih dari satu orang, sehingga ada kemungkinan satu file diedit lebih dari satu orang. system ini memungkinkan adanya proses merging dari dua orang programmer yang mengedit satu file bersamaan. system ini juga memungkinkan adanya rollback kepada versi sebelumnya jika sesuatu terjadi pada versi terbaru, dst.
2. bugtracker
   ini adalah web based tools yang digunakan untuk mencatat seluruh aktivitas development. ia digunakan untuk mencatat request-request terhadap aplikasi, mencatat bug-bug sampai assignment siapa yang harus bertanggung jawab terhadap bug tersebut dengan priority yang bisa kita set. 
3. unit testing
   aplikasi yang baik adalah aplikasi yang bug-free. bagaimana kita bisa meminimalisasi bug-bug yang kemungkinan muncul dalam aplikasi kita? diperlukan seseorang yang mampu melakukan QC satu persatu terhadap fungsi-fungsi hingga module-module, sehingga aplikasi kita bug proofed. cara lain lagi adalah dengan membuat unit testing yang akan bekerja secara otomatis tanpa bantuan tangan manusia.
4. timeline
   karena proyek ini memiliki tenggat waktu, maka setiap orang yang terlibat memiliki tanggung jawab masing-masing yang harus diselesaikan pada satu waktu tertentu. untuk ini kita bisa menggunakan schedule/calendar yang dimiliki google, yang bisa kita share dengan sesama anggota developer dan akan memberikan alert via mail/ponsel jika ada event tertentu.

Ah.. kiranya cukup itulah dulu.. kalau ada yang mau berkomentar. Monggo silaken, saran dan kritik sangat diharapkan. Semoga proyeknya kelar tepat waktu..

gak sengaja buka republika.co.id, ternyata ada juga penggemar symfony diantara selipan codeigniter di jajaran web-web berita indonesia..

Republika pakai symfony

Dikarenakan adanya request dari seorang pengunjung untuk mensettingkan codeigniter-nya dengan adoDB. Dengan senang hati saya akan sampaikan langkah-langkahnya.

Langkahs:

1. mungkin liat-liat dulu kenapa musti gunakan adodb ketimbang fasilitas yang sudah diprovide oleh CI. kali aja abis baca itu gak jadi nerusin, kan ga jadi buang waktu
2. klo langkah satu sudah ok, donlod adodb
3. extract file ke dalam CI/system/application/libraries/adodb/
4. kita buat CI untuk me-load adodb yang baru kita masukkan
   buka file CI/system/application/config/autoload.php, tambahkan load libraries:
   $autoload['libraries'] = array(‘database’, ‘adodbloader’); 
5. lalu kita coba liat libraries adodbloader ini (baca: dibuat ato donlod)

CI/system/application/libraries/Adodbloader.php

<?php if (!defined(‘BASEPATH’)) exit(‘No direct script access allowed’);

Class Adodbloader{
    function Adodbloader(){
        if ( !class_exists(‘ADONewConnection’) )
            require_once(APPPATH.’libraries/adodb/adodb.inc’.EXT);
        
        $obj =& get_instance();
        $this->_init_adodb_library($obj); 
    } 

    function _init_adodb_library(&$ci) {
        $db_var = false; 
        $debug = false; 

        if (!isset($dsn)) {
            // fallback to using the CI database file 
            include(APPPATH.’config/database’.EXT); 
            $group = ‘default’; 
            $dsn = $db[$group]['dbdriver'].’://’.$db[$group]['username'] 
                   .’:’.$db[$group]['password'].’@’.$db[$group]['hostname']
                   .’/’.$db[$group]['database']; 
        } 

        // $ci is by reference, refers back to global instance
        $ci->adodb =& ADONewConnection($dsn);

        if ($db_var) {
            // also set the normal CI db variable
            $ci->db =& $ci->adodb; 
        } 

        if ($debug) {
            $ci->adodb->debug = true;
        }
    }
}

Ini dulu saya download dari manaaa gitu, terus ada satu conditional blok yang saya hapus untuk menskip pembacaan file adodb.php (dsn file), sehingga dia langsung otomatis baca CI/system/application/config/database.php. Jadi Setting database.php kamu sesuai konfigurasi database yang ada.

Selanjutnya tinggal kita coba apakah settingan kita sudah berjalan atau belum. Edit file CI/system/application/controllers/welcome.php.

function index(){

    $this->adodb->debug=1; 
    echo $this->adodb->GetOne(“SELECT now()”);
    //$this->load->view(‘welcome_message’);
} 

O, sekarang coba buka http://localhost/CI. Jikalau yang keluar cacing, maka kemungkinan besar loader gagal. Jika yang keluar jin botol anda mungkin seberuntung Ali Baba

Gunakan selalu $this->adodb->AdoDBMethod();

gud lak brader…

tested on CI 1.7

Sekedar sharing sahaja, how to count work day in mySQL and SQL Server:

mySQL:

CREATE FUNCTION cwd (awal DATETIME, akhir DATETIME)
RETURNS INT

DETERMINISTIC
BEGIN
DECLARE done INT DEFAULT 0;
DECLARE y INT DEFAULT 1;

SET done = TIMESTAMPDIFF(DAY, awal, akhir);
SET @x = 0;

WHILE y <= done DO
IF (WEEKDAY(awal) = 5 OR WEEKDAY(awal) = 6) THEN
SET @x = @x + 0;
ELSE
SET @x = @x + 1;
END IF;

SET awal = DATE_ADD(awal, INTERVAL 1 DAY);
SET y = y + 1;
END WHILE;

RETURN @x;
END;

"SELECT cwd('2008-07-07', '2008-07-17');"

SQL Server:

CREATE FUNCTION [dbo].[cwd](@date1 DATETIME, @date2 DATETIME)
RETURNS VARCHAR(7)
AS
BEGIN
IF (@date1 = @date2)
RETURN ('0')

DECLARE @DayDiff INT
DECLARE @i INT
DECLARE @x INT

SET @DayDiff = DATEDIFF(dd,@date1,@date2)
SET @i = 1
SET @x = 0

WHILE (@i <= @DayDiff)
BEGIN
IF((SELECT DATENAME(dw, @date1)) = 'Saturday' OR (SELECT DATENAME(dw, @date1)) = 'Sunday')
BEGIN
SELECT @x = @x + 0
END
ELSE
BEGIN
SELECT @x = @x + 1
END
SELECT @date1 = DATEADD(dd, 1, @date1)
SELECT @i = @i + 1
END

RETURN @x
END

Tinggal panggil
"SELECT dbo.cwd('2008-07-07', '2008-07-17')"

Buat kamu web developer (terutama php) mungkin tulisan ini bisa memberi ide.

Mengapa gado-gado itu harus dengan komponen CI, Ado dan jQuery?

1. Menggunakan framework itu jelas bisa mengurangi waktu riset membangun prototipe aplikasi yg handal (yg jelas, dont repeat your self)
2. Banyak orang menggunakan, berarti banyak orang meng-QA, berarti banyak improvement dilakukan
3. Menggunakan db abstraction layer memberikan fleksibilitas applikasi untuk beradaptasi dengan lingkungan klien (meski CI sudah provide db layer ini)
4. jQuery bisa membuat aplikasi anda menjadi lebih hidup (lebih web 2.0 atau 2.5 lah)

Yang jelas mengapa menggunakan framework dan segala macemnya silakan cari di tempat lain yang bahas lebih detail

CodeIgniter, framework php ini menawarkan sesuatu yang light tapi komplit, dengan learning curve yang lumayan cepat buat seorang novice programmer. Framework ini juga sudah mengadaptasi segregasi MVC, dan untuk ini gado-gado menggunakan AdoDb sebagai pendukung di sisi “Model”, dan jQuery dari sisi behaviour mendukung “View” yang lebih atraktif, serta tentu saja kreativitas anda mendukung sisi “Controller”

Untuk aplikasi yang lebih kompleks, bisa juga ditambahkan matchbox untuk memudahkan manajemen aplikasi, sehingga lebih modular.

duuh.. ngomong apa sih ni orang

Man..

I’am wasting my time using coldfusion. One month in Balikpapan from the plan of two weeks. There are a lot of something that is easy to be programmed with PHP but not so in CF. There are a lot of bunch to be added to the script to make a good layouting from database retrieving.

The most problem I faced, when I query with “IN” condition, such:

SELECT bla FROM tbl WHERE bli IN ( <cfoutput>#blu#</cfoutput> )

With variable blu as a list separated with coma “,”. Coldfusion add single apostrophe automatically, and so forth the query wont give a result. DAMN! The solution is by split the query, and then loop it manually with single apostroph added (this looping action must be located inside cfquery tag). Man.. what a waste of time.

There are still tons of problem I faced, later Ill add it.

“Sometimes hard code is the only way out”
This is our secret.. don’t tell anyone!