Using Vim for Java + Gradle

Short posting. I've created a repo so that I can clone it everytime I want to create new project. See here:

https://github.com/bpdp/vim-java

Read More [...]

Posted in Gradle, Java, vim

Basis Data Graf: Titan dengan Apache Cassandra Sebagai Storage Backend

Tulisan ini merupakan kelanjutan dari tulisan sederhana tentang basis data graf sebelumnya. Kali ini saya akan menuliskan sedikit tentang memulai menggunakan Titan [1] yang merupakan basis data graf dengan kapabilitas penyimpanan dan pemrosesan data masif (web scale atau big data). Titan adalaha softwae bebas dengan lisensi Apache [2].

Titan sebenarnya terdiri atas 2 bagian:

1. Distribusi Titan
2. Storage backend

Distribusi Titan

Titan bisa diperoleh dari repositori Titan [3]. Versi rilis terakhir adalah 0.3.1. Hasil download adalah sebagai berikut:

$ ls
total 74744
drwxr-xr-x  2 bpdp bpdp     4096 Jul 11 06:57 .
drwxr-xr-x 25 bpdp bpdp     4096 Jul 18 10:37 ..
-rw-r--r--  1 bpdp bpdp 76521205 May 14 22:48 titan-all-0.3.1.zip
-rw-r--r--  1 bpdp bpdp       64 Jun 24 12:43 url
$ cat url 
http://s3.thinkaurelius.com/downloads/titan/titan-all-0.3.1.zip
$ 

Mendownload distribusi ini saja tidak cukup, karena distribusi ini "hanya" menyediakan core dari Titan, tidak ada komponen dari software yang berfungsi sebagai native storage backend. Secara umum, penggunaan Titan meliputi aktivasi storage backend (baik secara lokal maupun cluster) kemudian mengkonfigurasi Titan untuk menggunakan storage backend tersebut.

Storage Backend

Titan menggunakan basis data lainnya sebagai "tempat" untuk menyimpan data. Software yang bisa digunakan untuk keperluan ini adalah:
1. Apache Cassandra [4]
2. Apache HBase [5]
3. Oracle BerkeleyDB [6]
Mempelajari Titan saja tidak cukup, pemahaman yang memadai tentang storage backend juga diperlukan. Titan adalah basis data untuk data yang masif sehingga storage backend-nya pun juga software basis data kelas berat. Tingkat kompleksitas dari storage backend bervariasi, tetapi Apache HBase barangkali merupakan storage backend yang paling kompleks.

Memulai Storage Backend

Storage backend yang akan digunakan disini adalah Apache Cassandra. Versi yang digunakan adalah versi terakhir saat tulisan ini ditulis: 1.2.6. Langkah untuk memulai Apache Cassandra sangat mudah dan pada dasarnya hanya meliputi konfigurasi PATH serta file konfigurasi cassandra.yaml. Tarball dari Apache Cassandra pada tulisan ini akan diekstrak di $HOME/software/apache-cassandra-1.2.6 (direktori ini akan dirujuk dengan variabel $CASSANDRA_HOME). Data akan disimpan di $HOME/db/cassandra. Konfigurasi:

$HOME/.bash_profile

...
...
$CASSANDRA_HOME=$HOME/software/apache-cassandra-1.2.6
export PATH=$PATH:$CASSANDRA_HOME/bin
...
...

cassandra.yaml

Ada banyak konfigurasi yang bisa diatur pada file ini [7], tetapi pada bagian ini hanya 4 saja yang akan saya ubah:

cluster_name: 'KintamaniCluster'
data_file_directories:
    - /home/bpdp/db/cassandra/data
# commit log
commitlog_directory: /home/bpdp/db/cassandra/commitlog
saved_caches_directory: /home/bpdp/db/cassandra/saved_caches

Catatan: direktori-direktori diatas dibuat dulu jika belum ada.

Setelah itu, untuk memulai Apache Cassandra, login ke shell baru, setelah itu:

$ cassandra -f

Argumen -f digunakan untuk menampilkan hasil eksekusi di latar depan sehingga kita bisa melihat jika terjadi masalah. Hasilnya nanti akan banyak sekali, saya tampilkan bagian akhirnya saja:

...
...
INFO 05:07:53,670 Node localhost/127.0.0.1 state jump to normal
INFO 05:07:53,686 Startup completed! Now serving reads.
INFO 05:07:53,948 Starting listening for CQL clients on localhost/127.0.0.1:9042...
INFO 05:07:54,010 Binding thrift service to localhost/127.0.0.1:9160
INFO 05:07:54,083 Using TFramedTransport with a max frame size of 15728640 bytes.
INFO 05:07:54,090 Using synchronous/threadpool thrift server on localhost : 9160
INFO 05:07:54,090 Listening for thrift clients...
INFO 05:12:51,681 Compacting [SSTableReader(path='/home/bpdp/db/cassandra/data/system/schema_columnfamilies/system-schema_columnfamilies-ic-15-Data.db'), SSTableReader(path='/home/bpdp/db/cassandra/data/system/schema_columnfamilies/system-schema_columnfamilies-ic-13-Data.db'), SSTableReader(path='/home/bpdp/db/cassandra/data/system/schema_columnfamilies/system-schema_columnfamilies-ic-16-Data.db'), SSTableReader(path='/home/bpdp/db/cassandra/data/system/schema_columnfamilies/system-schema_columnfamilies-ic-14-Data.db')]
INFO 05:12:52,233 Compacted 4 sstables to [/home/bpdp/db/cassandra/data/system/schema_columnfamilies/system-schema_columnfamilies-ic-17,].  20,712 bytes to 6,933 (~33% of original) in 550ms = 0.012021MB/s.  10 total rows, 4 unique.  Row merge counts were {1:2, 2:0, 3:0, 4:2, }

Titan

Setelah men-donwload Titan, ekstrak hasil download tersebut di suatu direktori tertentu (penulis menempatkan di $HOME/software/titan, selanjutnya akan disebut $TITAN_HOME). Saya juga menempatkan variabel lingkungan PATH di .bash_profile sebagai berikut:

...
...
$TITAN_HOME=$HOME/software/titan
export PATH=$PATH:$TITAN_HOME/bin
...
...

Titan mendukung penuh TinkerPop stack sehingga kita bisa menggunakan tools dari TinkerPop stack, baik untuk REPL (menggunakan Gremlin) maupun dalam source code. Contoh sesi REPL dari Gremlin adalah sebagai berikut:

$ gremlin.sh 

         \,,,/
         (o o)
-----oOOo-(_)-oOOo-----
gremlin> conf = new BaseConfiguration();
==>org.apache.commons.configuration.BaseConfiguration@13015e8
gremlin> conf.setProperty("storage.backend","cassandra");
==>null
gremlin> conf.setProperty("storage.hostname","127.0.0.1");
==>null
gremlin> g = TitanFactory.open(conf);
13/07/20 06:29:02 INFO impl.ConnectionPoolMBeanManager: Registering mbean: com.netflix.MonitoredResources:type=ASTYANAX,name=ClusterTitanConnectionPool,ServiceType=connectionpool
13/07/20 06:29:02 INFO impl.CountingConnectionPoolMonitor: AddHost: 127.0.0.1
13/07/20 06:29:02 INFO impl.ConnectionPoolMBeanManager: Registering mbean: com.netflix.MonitoredResources:type=ASTYANAX,name=KeyspaceTitanConnectionPool,ServiceType=connectionpool
13/07/20 06:29:02 INFO impl.CountingConnectionPoolMonitor: AddHost: 127.0.0.1
==>titangraph[cassandra:127.0.0.1]
gremlin> bambang = g.addVertex(null);
==>v[360004]
gremlin> domain = g.addVertex(null);
==>v[360008]
gremlin> bambang.setProperty("name", "Bambang Purnomosidi");
==>null
gremlin> domain.setProperty("name", "Pragmatic Web");
==>null
gremlin> e = g.addEdge(null, bambang, domain, "researching");
==>e[7ygD-1vEw-2F0LaTPQTs][360004-researching->360008]
gremlin> print e.getVertex(Direction.OUT).getProperty("name") + "---" + e.getLabel() + "-->" + e.getVertex(Direction.IN).getProperty("name");
Bambang Purnomosidi---researching-->Pragmatic Web==>null
gremlin> 

Jika ingin membuat program yang memanfaatkan Titan dan storage backend-nya ini, pengetahuan yang diperlukan  akan lebih kompleks dan memerlukan tulisan tersendiri. We'll talk about it later. Stay tune.

Proses Selanjutnya

Setelah berbagai setting ini, jika komputer mati (untuk server seharusnya tidak :-D), setiap kali login, kita sudah bisa langsung mengeksekusi Apache Cassandra, setelah itu mengaktifkan Titan (tidak perlu konfigurasi ribet lagi):

$ cassandra -f
$ gremlin.sh

Hanya itu saja, kecuali anda ingin coding, tentu perlu langkah lain.

So, Enjoy big data!

Referensi

[1] http://titan.thinkaurelius.com
[2] http://www.apache.org/licenses/LICENSE-2.0.html
[3] http://s3.thinkaurelius.com/downloads/titan/titan-all-0.3.1.zip
[4] http://cassandra.apache.org
[5] http://hbase.apache.org
[6] http://www.oracle.com/technetwork/database/berkeleydb/overview/index-093405.html
[7] http://wiki.apache.org/cassandra/StorageConfiguration

Read More [...]

Posted in Big data, Blueprints, Cassandra, Gremlin, Tinkerpop, Titan

Menggunakan Gradle untuk Grizzly

Tulisan sederhana ini akan menjelaskan penggunaan Gradle dalam konteks sebagai build tool, khususnya untuk membangun aplikasi server yang scalable berbasis NIO. NIO atau lebih lengkapnya NIO.2 adalah pustaka untuk I/O di Java yang dispesifikasikan pada JSR 203. Jika dulu pilihan untuk membangun aplikasi server - khususnya server web - terbatas pada penggunaan JSP dan Servlet container seperti Tomcat, Jetty, atau Resin, sekarang pilihan lebih luas lagi karena tersedia berbagai macam framework yang disediakan (dan kebanyakan software bebas!) untuk membangun aplikasi server yang scalable. Beberapa framework yang bisa digunakan antara lain adalah:

1. Apache MINA [1]
2. Grizzly [2]
3. Netty [3]
4. xSocket [4]

Sekilas Grizzly

Grizzly adalah software bebas untuk membangun aplikasi server yang scalable. Grizzly digunakan juga dalam proyek Glassfish. Grizzly menggunakan Java NIO dan menyediakan berbagai macam pustaka untuk mengembangkan aplikasi server yang menurut saya relatif lengkap:

1. Aplikasi web dengan HTTP maupun HTTPS
2. Ajax
3. Comet (untuk teknologi push)
4. WebSocket
5. JAXWS (Web Services)
6. AJP (Apache JServ Protocol)
7. SPDY [5], protokol dalam tahap eksperimen dari proyek Chromium untuk mengurangi latensi dari halaman Web.

Artikel ini tidak bermaksud untuk melakukan komparasi antara berbagai framework NIO sehingga saya tidak akan menguraikan perbandingan antar framework tersebut. Pembaca yang berminat bisa melihat pada tulisan yang dibuat oleh Trustin Lee [6]. Meskipun demikian, perlu diingat bahwa perbandingan-perbandingan seperti ini biasanya hanya akan menimbulkan flame wars sehingga saya lebih menyarankan untuk memahami kebutuhan software yang akan dibuat dan kemudian menggunakan tools yang sesuai dengan kebutuhan.

Tentang Gradle

Gradle [5] merupakan software yang menurut pembuatnya (Gradleware) merupakan software bebas yang digunakan sebagai "The Enterprise Automation Tool". Software seperti ini berfungsi untuk peranti otomatisasi dalam berbagai tahap pengembangan software, mulai dari pengelolaan source code di komputer lokal developer, mengelola dependensi pustaka, testing, deployment, dan lain-lain. Software ini menarik bagi saya karena script yang digunakan dalam mendefinisikan berbagai tasks dalam pengembangan software merupakan kode sumber Groovy sehingga jika diperlukan kita bisa menggunakan berbagai fasilitas dari Groovy untuk mengelola proyek kita. Ini berbeda dengan Apache Ant [] + Ivy yang berfungsi sebagai build tools sekaligus mengelola dependensi pustaka serta Apache Maven yang mempunyai fungsi sama dengan Gradle tetapi menggunakan XML untuk mengelola dan mendefinisikan berbagai tasks. 

Meski tersedia untuk berbagai macam IDE besar dalam bentuk plugin (Eclipse, Netbeans, Intellij IDEA), saya merasa lebih nyaman menggunakan perintah di shell karena lebih fleksibel (that's YMMV!). Untuk mengikuti tulisan ini, pastikan anda sudah menginstall Gradle menggunakan langkah-langkah yang telah diuraikan di manual [7]. Untuk memeriksa apakah instalasi anda sudah betul atau belum, ketikkan perintah berikut:

$ gradle --version
------------------------------------------------------------
Gradle 1.6
------------------------------------------------------------
Gradle build time: Tuesday, May 7, 2013 9:12:14 AM UTC
Groovy: 1.8.6
Ant: Apache Ant(TM) version 1.8.4 compiled on May 22 2012
Ivy: 2.2.0
JVM: 1.7.0_25 (Oracle Corporation 23.25-b01)
OS: Linux 3.9.9-1-ARCH i386
$

Tentu bagian-bagian tertentu akan berbeda (misalnnya OS dan/atau versi JVM). Lainnya seharusnya sama. Jika sudah berada pada posisi ini, kita siap menggunakan Gradle. 

Contoh Source Code Aplikasi Grizzly

Untuk keperluan artikel ini, saya akan menggunakan contoh source aplikasi semacam echo server yang bersifat blocking / synchronous. Aplikasi ini terdapat dalam contoh yang terdapat pada distribusi Gradle [8]. Struktur direktori dari aplikasi ini adalah sebagai berikut:

Gradle menggunakan file build.gradle untuk mengelola proyek (kelak jika sudah lebih kompleks, ini bisa dikembangkan menjadi lebih dari satu file konfigurasi). Jika melihat struktur direktori tersebut, kita akan melihat letak dari source code (BlockingHttpHandlerSample.java) di direktori $PROJECT_ROOT_DIR/src/main/name/bpdp/grizzly/. Secara default, source code akan diletakkan pada direktori $PROJECT_ROOT_DIR/src/main/java/. Pada struktur diatas, source code diletakkan pada paket name.bpdp.grizzly sehingga source code BlockingHttpHandlerSample,java perlu diubah sedikit pada bagian package dengan isi berikut: 

package name.bpdp.grizzly;

File build.gradle

File build.grade digunakan untuk mengelola proyek. Proyek pada contoh ini berada pada direktori $HOME/kerjaan/src/java/grizzly/ dan setiap penyebutan $PROJECT_ROOT_DIR akan mengacu ke lokasi tersebut. Isi dari file tersebut adalah sebagai berikut:

apply plugin: 'java'

version = "0.0.1"
group = "name.bpdp.grizzly"
 
dependencies {
  compile group: 'org.glassfish.grizzly', name: 'grizzly-framework', version: '2.3.3'
  compile group: 'org.glassfish.grizzly', name: 'grizzly-http-server', version: '2.3.3'
  testCompile group: 'junit', name: 'junit', version: '4.11'
  testCompile group: 'org.glassfish.grizzly', name: 'grizzly-framework', version: '2.3.3'
  testCompile group: 'org.glassfish.grizzly', name: 'grizzly-http-server', version: '2.3.3'
}
repositories {
  mavenCentral()
}
task(runApp, dependsOn: 'classes', type: JavaExec) {
  main = 'name.bpdp.grizzly.BlockingHttpHandlerSample'
  classpath = sourceSets.main.runtimeClasspath
}
test {
  maxParallelForks = 5
  maxHeapSize = '1024m'
}

Source code Groovy di atas relatif lebih mudah dipahami. Untuk mengelola proyek Java, kita perlu menggunakan plugin java kemudian didefinisikan berbagai dependensi pustaka yang digunakan dalam proyek. Lihat pada bagian dependencies, yang kita tulis disitu mirip dengan definisi XML dari repositori Maven (silahkan lihat di website Grizzly pada bagian download). Kita juga menggunakan repositori Maven untuk mengambil berbagai dependensi pustaka, kemudian membuat task 'runApp' untuk menjalankan aplikasi yang telah kita build. Pada bagian 'runApp' kita definisikan nama kelas main yang akan dijalankan dengan classpath sesuai dengan classpath runtime (lokasi dari berbagai hasil kompilasi).

Membangun (Build) Aplikasi

Untuk membangun aplikasi tersebut, kita hanya perlu menjalankan perintah dari shell: 'gradle build' dan Gradle akan mengambil berbagai pustaka yang kita perlukan dari repositori Maven kemudian mengkompilasi. Jika menjalankan ini untuk pertama kali, mungkin akan sedikit lama apalagi jika pustaka yang akan diambil banyak. Pustaka-pustaka tersebut nantinya akan diletakkan di $HOME/.gradle.

$ gradle build
:compileJava
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-framework/2.3.3/grizzly-framework-2.3.3.pom
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-project/2.3.3/grizzly-project-2.3.3.pom
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-bom/2.3.3/grizzly-bom-2.3.3.pom
Download http://repo1.maven.org/maven2/net/java/jvnet-parent/3/jvnet-parent-3.pom
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-http-server/2.3.3/grizzly-http-server-2.3.3.pom
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-http/2.3.3/grizzly-http-2.3.3.pom
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-rcm/2.3.3/grizzly-rcm-2.3.3.pom
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-framework/2.3.3/grizzly-framework-2.3.3.jar
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-http-server/2.3.3/grizzly-http-server-2.3.3.jar
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-http/2.3.3/grizzly-http-2.3.3.jar
Download http://repo1.maven.org/maven2/org/glassfish/grizzly/grizzly-rcm/2.3.3/grizzly-rcm-2.3.3.jar
:processResources UP-TO-DATE
:classes
:jar
:assemble
:compileTestJava UP-TO-DATE
:processTestResources UP-TO-DATE
:testClasses UP-TO-DATE
:test
Download http://repo1.maven.org/maven2/junit/junit/4.11/junit-4.11.pom
Download http://repo1.maven.org/maven2/org/hamcrest/hamcrest-core/1.3/hamcrest-core-1.3.pom
Download http://repo1.maven.org/maven2/org/hamcrest/hamcrest-parent/1.3/hamcrest-parent-1.3.pom
Download http://repo1.maven.org/maven2/junit/junit/4.11/junit-4.11.jar
Download http://repo1.maven.org/maven2/org/hamcrest/hamcrest-core/1.3/hamcrest-core-1.3.jar
:check
:build
BlUILD SUCCESSFUL
Total time: 48.44 secs
$

Hasil proses build di atas akan diletakkan pada direktori build sebagai berikut:

Jika sudah mengkompilasi tanpa error, kita bisa menjalankan aplikasi tersebut menggunakan task yang telah kita definisikan (runApp):

$ gradle runApp
:compileJava UP-TO-DATE
:processResources UP-TO-DATE
:classes UP-TO-DATE
:runApp
Jul 15, 2013 8:39:56 PM org.glassfish.grizzly.http.server.NetworkListener start
INFO: Started listener bound to [0.0.0.0:8080]
Jul 15, 2013 8:39:56 PM org.glassfish.grizzly.http.server.HttpServer start
INFO: [HttpServer] Started.
Client connected!
Writing request:
HttpRequestPacket (
  method=POST
  url=/echo
  query=null
  protocol=HTTP/1.1
  content-length=-1
  headers=[
    Host=localhost:8080]
)
contentA-
contentB-
contentC-
contentD


Echoed POST Data: contentA-contentB-contentC-contentD
Jul 15, 2013 8:39:56 PM org.glassfish.grizzly.http.server.NetworkListener stop
INFO: Stopped listener bound to [0.0.0.0:8080]
BUILD SUCCESSFUL
Total time: 7.916 secs
$

And that's the end of this simple story. Happy hacking!

Referensi

[1] http://mina.apache.org

[2] http://grizzly.java.net

[3] http://netty.io

[4] http://xsocket.org - tidak dikembangkan lagi, hanya sebatas bug fixes.

[5] http://www.chromium.org/spdy

[6] http://gleamynode.net/articles/2232/

[7] http://www.gradle.org/docs/current/userguide/installation.html

[8] https://maven.java.net/content/repositories/releases/org/glassfish/grizzly/samples/ - atau yang spesifik digunakan pada tulisan ini adalah BlockingHttpHandlerSample.java di file grizzly-http-server-samples-2.3.3-sources.jar.

Read More [...]

Posted in Gradle, Grizzly, Java, NIO.2

Pengantar Teknologi Basis Data Graf

Artikel ini merupakan pengantar ke basis data graf yang sekarang mulai marak dibicarakan dan diimplementasikan. Pengantar ini diperlukan sebelum membahas software basis data graf terdistribusi menggunakan Titan [1]. Jika akan dikategorikan, Titan ini masuk ke dalam kategori basis data NOSQL (Not Only SQL) untuk membedakan dengan basis data relasional (RDBMS) seperti PostgreSQL, MySQL, Oracle Database 10g yang menggunakan SQL sebagai bahasa untuk query (DDL maupun DML). Jika sudah terbiasa dengan "standar" SQL, bersiap-siaplah kaget dengan dunia NOSQL yang sangat bervariasi [2]. Artikel ini akan terdiri atas beberapa seri dan nantinya akan lebih dikonsentrasikan ke penggunaan Titan.

Big Data

Tulisan ini sama sekali tidak untuk menunjukkan bahwa RDBMS adalah teknologi yang sudah usang dan tidak pantas dipakai, tapi saya lebih meyakini bahwa setiap kreasi itu mempunyai kesesuaian dalam menyelesaikan masalah tertentu. Demikian juga dengan NOSQL yang kebanyakan berasal dari kebutuhan dari pengelolaan data yang masif. Pengelolaan data yang masih ini dikenal juga dengan 2 istilah:

1. "Web scale" untuk menunjukkan kemampuan skalabilitas pada aplikasi yang memerlukan data sangat besar yaitu aplikasi Web. Tentu ini bukan aplikasi Web yang bersifat personal (seperti wiki sederhana, CMS dengan ruang lingkup kecil, dan sejenisnya), tetapi lebih pada aplikasi Web skala besar dengan akses dan keanggotaan sampai ke seluruh dunia (misal: Facebook, Twitter).
2. "Big data", untuk menunjukkan kebutuhan data yang sangat masif karena seringkali data bersifat realtime dan berjumlah sangat besar sehingga harus dikelola dalam cluster-cluster. Istilah ini mulai populer seiring dengan paper dari Google: MapReduce (framework untuk model pemrograman bagi pemrosesan data yang sangat besar) [3]  dan BigTable [4].

Basis Data Graf

Basis data graf (Graph Database) adalah basis data yang menggunakan graf dalam pemodelan data. Graf merupakan cabang ilmu dari matematika yang dikenal mempunyai keterkaitan aplikasi dengan banyak disiplin ilmu lainnya. Teori graf sudah berumur panjang. Teori graf ini pertama kali dikenal sejak Leonhard Euler menulis paper "Seven Bridges of Königsberg" pada tahun 1736. Dalam matematika, graf ini merupakan bagian utama dari Matematika Diskrit. Meski banyak buku yang ditulis terkait dengan teori graf, buku dari Frank Harary tentang teori graf pada 1969 membuat banyak peneliti dari berbagai disiplin ilmu menyadari pentingnya teori graf terkait dengan berbagai macam disiplin ilmu. Teori graf ini juga dikembangkan di dunia software untuk pemodelan data, terutama untuk pemodelan dan analisis yang memerlukan keterkaitan dalam bentuk graf. Perkembangan akhir-akhir ini menunjukkan bahwa teori graf ini bisa diterapkan untuk basis data dan membentuk basis data graf. 

Pada basis data graf, data akan dimodelkan dalam bentuk graf (terdiri atas sekumpulan vertex (node) dan dihubungkan dengan dengan edge / arc) yang memungkinkan berbagai macam operasi dilakuan pada struktur data tersebut, misalnya traversal, pattern matching, penemuan "knowledge" baru (reasoning), dan lain-lain. Banyak aspek kehidupan manusia pada dasarnya bisa dimodelkan dengan graf. Contoh paling sederhana, fasilitas rekomendasi teman pada Facebook adalah hasil dari penerapan teori graf: saya mengenal A, A mengenal B, B mengenal C, C mengenal D, dan seterusnya, kemudian dicari pola yang sama antar individu tersebut sehingga bisa dihasilkan rekomendasi bahwa saya mungkin juga mengenal D.

Beberapa basis data yang menggunakan graf untuk pemodelan data antara lain:

1. OrientDB [5]
2. Neo4J [6]
3. AangoDB [7]
4. HyperGraphDB [8]
5. InfiniteGraph [9]
6. Titan

Kebanyakan basis data graf disediakan untuk keperluan Big Data, meski ada juga in-memory graph database yang cocok untuk pemrosesan yang cepat dan tidak untuk keperluan pengelolaan data masif.

Bentuk Spesifik dari Basis Data Graf: TripleStore dan QuadStore

TripleStore merupakan pemodelan data yang berdasarkan pada spesifikasi dari W3C yaitu RDF (Resource Description Framework). Pada pemodelan ini, pemodelan akan didasarkan pada S-P-O (Subyek Predikat Obyek), misalnya "Bambang menulis artikel". QuadStore adalah TripleStore yang menyertakan dukungan Named Graph yang memungkinkan suatu graf diidentifikasikan berdasarkan pada URI. Contoh dari basis data QuadStore ini adalah OpenLink Virtuoso [10]. Beberapa contoh TripleStore:

1. Bigdata [11]

2. AllegroGraph [12]

3. Meronymy - sekarang berganti nama menjadi SparkleDB [13] - sekaligus QuadStore

"Standar" Basis Data Graf: Tinkerpop Stack

Dengan adanya banyak implementasi tersebut, tentu akan mulai banyak kesulitan karena akan muncul berbagai macam implementasi dan pada akhirnya menyebabkan para pengguna dan developer untuk mempelajari basis data tersebut secara spesifik. Saat ini, dikembangkan "standar" untuk pengelolaan basis data graf tersebut. Saya tulis "standar" menggunakan tanda petik karena standar disini tidak diimplementasikan dalam suatu organisasi standar seperti ANSI atau ISO, tetapi lebih ke aarah kesepakatan antara banyak developer yang bekerja dengan basis data graf dan dilakukan oleh komunitas. Standar yang banyak dianut saat ini dikembangkan oleh Tinkerpop [14] dan mempunyai standar paling mendasar yang dikenal dengan sebutan Blueprints [15].

Standar dari Tinkerpop ini terdiri atas berbagai lapisan (sehingga sering disebut sebagai 'stack'). Standar paling mendasar adalah Blueprints. Standar lainnya bisa dilihat di website Tinkerpop. Pada artikel ini saya lebih menekankan pada kedudukan dari berbagai macam standar tersebut. Standar Tinkerpop ini jika diibaratkan dalam dunia pemrograman yang melibatkan SQL di Java, mempunyai kedudukan yang setara dengan JDBC. Dengan demikian, skema dari standar ini adalah sebagai berikut:

Source code <-----> Tinkerpop API <-----> basis data graf

Dengan demikian, source code akan bersifat portable dan tidak terlalu tergantung pada basis data graf tertentu. Vendor basis data graf perlu mengimplementasikan "driver" Tinkerpop supaya bisa diakses menggunakan API Tinkerpop. Pada saat ini, banyak sekali software basis data graf yang mengimplementasikan API tersebut [16].

Bagaimana dengan TripleStore dan QuadStore pada Tinkerpop?

Sebagai bagian dari basis data graf, TripleStore dan QuadStore juga mendapatkan perhatian dari Tinkerpop. Tinkerpop menyediakan Ouplementations [17] yang menggunakan SAIL dari Sesame [18] sehingga RDF ini juga bisa diakses melalui stack Tinkerpop meskipun relatif lebih rumit. 

Referensi

[1] http://titan.thinkaurelius.com

[2] Lihat misalnya di http://www.nosql-databases.org

[3] https://www.usenix.org/legacy//events/osdi06/tech/chang/chang_html/

[4] http://research.google.com/archive/bigtable-osdi06.pdf

[5] http://orientdb.org

[6] http://neo4j.org

[7] http://www.arangodb.org

[8] http://www.hypergraphdb.org

[9] http://www.infinitegraph.com

[10] http://www.openlinksw.com/

[11] http://www.systap.com/bigdata.htm

[12] http://www.franz.com/agraph/allegrograph/

[13] http://www.sparkledb.net/

[14] http://tinkerpop.com

[15] http://blueprints.tinkerpop.com

[16] https://github.com/tinkerpop/blueprints/wiki/Implementations

[17] https://github.com/tinkerpop/blueprints/wiki/Ouplementations

[18] http://www.openrdf.org

Read More [...]

Posted in Big data, Database, Graph, Tinkerpop

Battery Warning Notification for Awesome Window Manager

Just a quick hack for my awesome window manager configuration. There are some widget libraries for awesome that can be used, but this configuration doesn't need them. If you have awesome, then you are set. What I did was reading battery status ("Discharging" or "Charging") and also battery capacity and then put them in awesome timer, call it every 2 minutes. In each call, it will detect the status and capacity. If below 10% and Discharging, then awesome will notify user using Naughty (comes preinstalled in awesome 3.5). Here's the relevant part of the rc.lua:

-- battery warning
-- created by bpdp

local function trim(s)
  return s:find'^%s*$' and '' or s:match'^%s*(.*%S)'
end

local function bat_notification()
  
  local f_capacity = assert(io.open("/sys/class/power_supply/BAT0/capacity", "r"))
  local f_status = assert(io.open("/sys/class/power_supply/BAT0/status", "r"))

  local bat_capacity = tonumber(f_capacity:read("*all"))
  local bat_status = trim(f_status:read("*all"))

  if (bat_capacity <= 10 and bat_status == "Discharging") then
    naughty.notify({ title      = "Battery Warning"
      , text       = "Battery low! " .. bat_capacity .."%" .. " left!"
      , fg="#ff0000"
      , bg="#deb887"
      , timeout    = 15
      , position   = "bottom_left"
    })
  end
end

battimer = timer({timeout = 120})
battimer:connect_signal("timeout", bat_notification)
battimer:start()

-- end here for battery warning

In my laptop, I put rc.lua in $XDG_CONFIG_HOME/.awesome/ (usually it will reside in $HOME/.config/awesome/rc.lua). Just put the script above at the end of rc.lua and you are all set. When awesome detects that battery capacity fall below or the same with 10% and the status is "Discharging" (means the laptop has not been charged), then it will show this notification in the bottom of the monitor, left side:

You may change some properties of naughty.notify if you want.

Read More [...]

Posted in awesome, Lua

IDE dan Pengajaran Pemrograman

Tulisan ini berangkat dari pengalaman saya mengajar pemrograman selama bertahun-tahun (kurang lebih sekitar 13 tahun). Pemrograman memang sering menjadi momok bagi mahasiswa Informatika. Cukup menggelikan, karena kalau tidak mau bertemu dengan pemrograman seharusnya mahasiswa tidak masuk ke Informatika, but you know ...

Selama bertahun-tahun, barangkali para mahasiswa saya mengenal saya sebagai dosen yang "kejam" dalam hal mengajarkan semua hal yang terkait dengan pemrograman. Alasannya apa, akan saya uraikan nanti. Saya sebenarnya prihatin dengan kondisi kemampuan mahasiswa serta rekan-rekan akademisi yang sering menggunakan IDE (Integrated Development Environment) dalam proses pengajaran. Saya tidak anti software IDE karena saya sendiri juga menggunakan software-software tersebut, yang akan saya uraikan disini adalah IDE seharusnya tidak digunakan dalam proses pendidikan.

IDE merupakan software yang mengintegrasikan berbagai macam tools untuk pengembangan software. IDE merupakan software besar monolothic (hence, against UNIX philosophy), biasanya secara minimal akan berisi editor (untuk menulis source code), user interface designer, help / documentation, refactoring tool, build system, debugger, compiler / interpreter, class browser, profiler, dan project management. Mempelajari IDE memerlukan waktu dan biasanya mahasiswa tidak akan memahami sampai dalam.

Saat mengajar, saya memang cenderung keras: saya selalu memakai Linux dan tidak suka melihat para mahasiswa menggunakan IDE. Mahasiswa selalu saya paksa menggunakan text editor biasa (karena kebanyakan memakai Windows, mereka saya suruh memakai NotePad, NotePad++, TextPad, atau yang ngepet-ngepet lainnya). Ketidaksukaan saya terhadap penggunakan IDE ini dilatarbelakangi oleh beberapa alasan:

1. IDE mengotomatiskan banyak proses yang seharusnya dipahami oleh seseorang yang belajar pemrograman. Ini akan menyebabkan mahasiswa tidak mau memperhatikan internal working, algoritma, optimasi, dan lain-lain. Pernahkah anda menanyakan arti dari build.xml ke mahasiswa yang biasa menggunakan NetBeans? Lihat jawaban mereka. :)
2. IDE membuat mahasiswa menjadi manja dan cenderung tergantung dengan IDE. Jadi kalau pakai Text Editor biasa, mahasiswa tidak tergantung? ya tetap tergantung, namanya juga menggunakan komputer, mereka harus tergantung pada komputer. Yang saya maksud disini adalah penggunaan IDE tanpa pemahaman konsepsual yang kuat terhadap algoritma dan proses rekayaasa software akan membuat mereka tidak bisa apa-apa saat IDE tersebut tidak ada di komputer.
3. IDE sering membuat mahasiswa berpikir menurut IDE tersebut, sehingga jika di industri mereka bekerja menggunakan IDE yang lain, tentu akan memerlukan investasi waktu yang signifikan untuk hal tersebut. Cobalah menyuruh mahasiswa yang menggunakan NetBeans untuk berpindah ke Eclipse (standar JSE) jika ingin menguji :). 

IDE biasanya memang digunakan di industri pengembangan software, oleh sebab itu, dalam proses pendidikan seharusnya penggunaan IDE dilarang, tetapi menjelang kelulusan harus ada workshop penggunaan IDE. Saya yakin, jika ini dikerjakan, para mahasiswa yang mendapatkan workshop itu akan mengatakan "nah, lha ini gampang ternyata menggunakan NetBeans untuk proses refactoring". Tidak akan ada lagi (atau kalaupun ada, semoga minimal) mahasiswa yang hobi menggunakan NetBeans, pada saat wawancara kerja ditanyakan "Refactoring itu apa?" dan si mahasiswa hanya diam tidak bisa menjawab, sementara dia sering menggunakan fasilitas itu secara "tidak sadar".

Tantangannya? sederhana: kemampuan SDM (dosen terutama). This one I can not be sure ...

Read More [...]

Posted in Pendidikan, Rekayasa Software

Add MIME types into LiteIDE editor

This is just simply a note to myself. LiteIDE uses some text files for its configuration. Using View - Options menu, one can update LiteIDE configuration, but not all of its configurations can be changed this way. One example is the MIME types. I use "*.tpl" for my template file's pattern. This extension file name is not exist in MIME Types from View - Options - LiteEditor - File Types menu, so this kind of file is render as a plain text file without syntax coloring while I want them to be rendered as HTML file. You know how painful it is, right?

LiteIDE uses a file to configure file types. It resides in $LITEIDE_HOME//share/liteide/liteapp/mimetype. The file is liteeditor.xml. Change that file:

Very simple indeed. A very nice and good IDE for Go (and Lua also). :)

Read More [...]

Posted in Go, LiteIDE X

Mengakses Java dari SWI Prolog

SWI Prolog mempunyai fasilitas bi-directional untuk menghubungkan program Java yang kita buat dengan Prolog dan sebaliknya, jadi kita bisa mengakses Java melalui SWI Prolog, demikian juga Java bisa menggunakan kemampuan rule-based system dan fasilitas-fasilitas dari SWI Prolog. Fasilitas ini akan disertakan secara langsung saat mengkompilasi SWI Prolog jika kita mempunyai JDK (baik Oracle JDK maupun OpenJDK). Hasil dari proses kompilasi tersebut adalah JPL.

Membahas mengenai interfacing ini relatif kompleks, tetapi bisa dimulai dari konfigurasi. Standar konfigurasi dari $JAVA_HOME dan lain-lain masih harus ditambahkan lagi. Jika menggunakan instalasi JDK dari disto, barangkali akan berbeda, tetapi yang saya uraikan ini adalah konfigurasi dari instalasi manual JDK. Pada instalasi manual JDK, masih harus ditambahkan environment variable LD_LIBRARY_PATH. Jika tidak dikonfigurasi, ada error tidak ditemukan pustaka-pustaka yang diperlukan seperti berikut ini:

09:43:27-bpdp@bpdp-arch:/usr/lib/swipl-6.3.14/doc/packages/examples/jpl/prolog$ swipl
Welcome to SWI-Prolog (Multi-threaded, 32 bits, Version 6.3.14)
Copyright (c) 1990-2013 University of Amsterdam, VU Amsterdam
SWI-Prolog comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to redistribute it under certain conditions.
Please visit http://www.swi-prolog.org for details.
For help, use ?- help(Topic). or ?- apropos(Word).
?- [jpl_versions_demo].
ERROR: /usr/lib/swipl-6.3.14/library/jpl.pl:4637:
'$open_shared_object'/3: libjvm.so: cannot open shared object file: No such file or directory
ERROR: /usr/lib/swipl-6.3.14/library/jpl.pl:4637:
library `java' does not exist (Please add directory holding libjava.so to $LD_LIBRARY_PATH)
Warning: /usr/lib/swipl-6.3.14/library/jpl.pl:4637:
Goal (directive) failed: jpl:initialization(setup_jvm,now)
ERROR: /usr/lib/swipl-6.3.14/doc/packages/examples/jpl/prolog/jpl_versions_demo.pl:1:
Exported procedure jpl:jpl_c_lib_version/1 is not defined
%  library(jpl) compiled into jpl 0.06 sec, 1,947 clauses
ERROR: /usr/lib/swipl-6.3.14/doc/packages/examples/jpl/prolog/jpl_versions_demo.pl:22:
jpl:jFindClass/2: Undefined procedure: jpl:jni_func/3
Warning: /usr/lib/swipl-6.3.14/doc/packages/examples/jpl/prolog/jpl_versions_demo.pl:22:
Goal (directive) failed: user:jpl_versions_demo
% jpl_versions_demo compiled 0.07 sec, 1,953 clauses
true.
?- 

File-file yang diperlukan terdapat pada instalasi JDK. Pada komputer saya, $JAVA_HOME=/home/bpdp/software/jdk. Export environment variable LD_LIBRARY_PATH bisa dilakukan di .bashrc maupun di tempat lain sebagai berikut:

$ cat $HOME/.bashrc
...
...
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib/i386:$JAVA_HOME/jre/lib/i386/client
...
...
$

Hasilnya adalah sebagai berikut:

?- [jpl_versions_demo].
%  library(jpl) compiled into jpl 0.06 sec, 1,978 clauses
prolog library version: 3.1.4-alpha
  java library version: 3.1.4-alpha
     c library version: 3.1.4-alpha
BINGO! you appear to have the same version of each library installed
% jpl_versions_demo compiled 0.18 sec, 2,030 clauses
true.
?- 

BINGO! It works! Mari kita lihat contoh JTable:

?- [jpl_table_demo].
% jpl_table_demo compiled 0.69 sec, 1,619 clauses
true.
?- 

Silahkan melihat ke /usr/lib/swipl-6.3.14/doc/packages/examples/jpl/ untuk contoh-contoh lainnya. 

Selamat berkarya!

Read More [...]

Posted in Java, Prolog, SWI Prolog

LiteIDE X: IDE Cross Platform untuk Go

IDE (Integrated Development Environment) adalah komponen penting dalam pengembangan software. Dengan software ini, pengembang bisa menggunakan komponen-komponen yang terintegrasi ke dalam satu software sehingga memudahkan pengembangan untuk fokus pada pekerjaan pengembangan software. Jika pada beberapa waktu yang lalu saya sudah membahas penggunaan Vim sebagai IDE dari Go, sekarang ini saya akan membahas IDE lainnya yang saya pikir mempunyai fitur bagus dan merupakan software bebas.

Pada dasarnya ada beberapa IDE yang bisa digunakan selain Vim. LiteIDE X dibuat oleh visualfc dan tersedia dalam bentuk source code maupun binary:

Source code:

• http://code.google.com/p/liteide
• https://github.com/visualfc/liteide

Binary:

• https://code.google.com/p/golangide/downloads/list

Jika akan men-download versi binary, ada 2 kategori yang bisa dipilih yaitu LiteIDE X dan LiteIDE X + WebKit. Jenis kedua diperlukan jika kita akan menggunakan LiteIDE X untuk membuat file-file Markdown (.md).

Instalasi

Instalasi di Linux sangat mudah, hanya tinggal mengekstrak file yang kita download (saat ini versi terakhir adalah versi X17) pada suatu direktori dan jika ingin menjalankan cukup dengan mengeksekusi file $LITEIDEX_HOME/bin/liteide (cd $LITEIDEX_HOME/bin; ./liteide &):

Konfigurasi GOPATH

Saat pertama kali menggunakan software ini, GOPATH akan ditentukan berada di $GOROOT (di tempat saya: /home/bpdp/software/go). Konfigurasi ini disebut system GOPATH. Kita bisa menambahkan konfigurasi Custom GOPATH dengan memilih menu berikut:

Setelah itu akan muncul dialog untuk mengisikan Custome GOPATH, isikan direktori tempat kita membuat proyek software:

Membuat Proyek

Untuk membuat proyek baru, pilih menu File - New... akan muncul dialog berikut:

Pada Name, isikan nama proyek. Nama ini akan menjadi file executable jika kita akan membuat proyek yang berjenis Command Project. Ada beberapa pilihan disini:

1. Empty File: file kosong
2. Go Source File: Source code aplikasi Go kita
3. LUA: untuk bahasa pemrograman Lua (seharusnya Lua, bukan LUA).
4. Markdown File: membuat file .md (biasanya README.md atau dokumentasi-dokumentasi dibuat dalam format ini).
5. Command Project: menghasilkan executable binary file, jika tanpa GOPATH, kita bisa memilih di direktori mana saja
6. Package Project: menghasilkan pustaka

Untuk pertama ini, kita buat Command Project pada GOPATH, isikan nama, kemudian klik OK, akan muncul:

Pilih Yes untuk mengaktifkan proyek baru kita. Saat proyek di-load, ada beberapa file yang dibuatkan oleh LiteIDE X:

Jika ingin melihat struktur dari file yang kita edit, kita bisa melihat ke Outline di sebelah kanan:

Mengkompilasi dan Menjalankan

Program yang kita buat dijalankan dengan menggunakan Ctrl-R atau menu berikut:

Hasilnya ada pada Build Output sebagai berikut:

Code Completion

Dengan menginstall dan menjalankan gocode (https://github.com/nsf/gocode), maka kita bisa menggunakan code completion di LiteIDE X. Gocode merupakan daemon, artinya program yang berjalan di latar belakang. Ikuti instalasinya di URL tersebut setelah itu, aktifkan sebelum masuk ke LiteIDE X. Tanpa konfigurasi, code completion akan langsung berfungsi (lihat juga artikel saya http://bpdp.blogspot.com/2013/04/menggunakan-vim-sebagai-ide-go.html sebelumnya yang membahas instalasi gocode).

Sebenarnya masih banyak fasilitas lain, tetapi untuk permulaan uraian ini saya pikir mencukupi. Saya akan menambahkan beberapa kelengkapan lagi di posting-posting berikutnya.

Happy hacking!

Read More [...]

Posted in Go, LiteIDE X

Best Practices untuk Organisasi Direktori Proyek Go di Github / BitBucket / Assembla / etc

Saat sudah membuat proyek pengembangan software menggunakan Go dan akan dipublikasikan ke server penyedia repository Git (seperti github.com, bitbucket.org, atau assembla.com), kita harus menentukan struktur direktori yang baik dari proyek kita. Berdasarkan panduan dari How to Write Go Code (http://golang.org/doc/code.html), tiap proyek kita bagi menjadi beberapa direktori:

1. src: berisi source code
2. pkg: berisi paket object code yang telah dikompilasi (pustaka)
3. bin: binary executable

Jika untuk diri sendiri, barangkali ini sudah selesai. Jika proyek akan kita publikasikan ke git repo, struktur akan sangat berpengaruh. Initialisasi git seharusnya tidak dilakukan di $GOPATH, tetapi di src/. Perhatikan, pada contoh berikut ini $GOPATH adalah root directory dari proyek tempat file test.go berada:

Saya sudah mempunyai account github, dan root directory saya di github adalah http://github.com/bpdp, dengan demikian, saat membuat proyek, misalnya namanya adalah goarangodb, maka proyek tersebut akan berada di http://github.com/bpdp/goarangodb. Untuk kasus seperti ini, source code dari proyek kita sebaiknya diletakkan di $GOPATH/src/github.com/bpdp/goarangodb, sekaligus goarangodb menjadi nama paket. Inisialisasi git dilakukan di direktori $GOPATH/src/github.com/bpdp/goarangodb.

Mengapa harus demikian? Pada saat melakukan go get http://github.com/bpdp/goarangodb, artiffak dari proyek tersebut (source code, README, dll) akan diletakkan di direktori $GOPATH/src/github.com/bpdp/goarangodb. Dengan demikian, kita sebagai pengembang akan mempunyai situasi yang sama dengan deevloper yang meng - go get proyek kita.

Read More [...]

Posted in Git, GitHub, Go