Reportase Lokakarya Monitoring dan Evaluasi

Reportase Hari Kedua

Lokakarya Monitoring & Evaluasi

Memanfaatkan Sistem Monitoring dan Evaluasi

untuk Penguatan Organisasi

 

Hari kedua lokakarya ini dimulai dengan membahas tools pendekatan dalam mengukur dampak terhadap kebijakan. John Young menjelaskan bahwa dampak tidak bisa ditentukan sebelumnya dan sulit diidentifikasi karena banyak pihak yang ikut campur dalam proses.  Namun, dampak terhadap kebijakan dapat diukur melalui tools dan beberapa pendekatan seperti reseacrh quality, stories of change, episode studies (misalnya perubahan di Kementerian terjadi karena adanya hubungan dekat bukan dari penelitian), most significant change (proses melibatkan pakar dalam menyampaikan pandangan mereka mengenai penelitian kita).

Stories of Change (SOC)

Krisna Hort menjelaskan bahwa pada awalnya perubahan yang terjadi belum jelas dan yang ditelusuri bukan faktor dari perubahannya tapi apa yang terjadi setelah perubahan. Stories of change diawali dengan melaksanakan studi kasus terlebih dahulu agar kuat & dari studi kasus dibuat stories of change. Dari segi serapan dan penerimaan lebih bagus SOC. Stories of change ini sama seperti yang biasa dilakukan oleh PKMK FK UGM yaitu membuat policy brief. Tantangan terbesar adalah bagaimana policy brief bisa dipahami oleh pengambil kebijakan dan media. Sehingga mungkin perlu orang yang bisa menuliskan secara bahasa koran. John Young menambahkan bahwa untuk mempengaruhi kebijakan perlu data yang jelas, analisis dalam persen dan cukup dua lembar saja yang menjelaskan latar belakang, cost benefit dari penelitian tersebut. John Young menjelaskan mengenai alat-alat pendekatan yang bisa digunakan untuk melakukan monitoring & evaluasi. Alat-alat pendekatan yang bisa dilakukan yaitu google analitik, altmetric, mendeley, publish or perish. Tidak asing bagi PKMK FK UGM mengenai google analitik karena setiap minggu nya PKMK FK UGM membuat laporan kunjungan dari 12 website yang dimiliki PKMK FK UGM. Ada pertanyaan dari peserta lokakarya yaitu monev masing-masing program apakah bisa disebut monev organisasi? John menjawab bahwa belum bisa terjawab secara cepat namun lebih bersifat mendalami proses item monev-nya. John menambahkan bahwa perlu peran monev internal dalam organisasi dan penilaian dari luar organisasi sehingga terjadi pencampuran keduanya. Hal ini hanya untuk memastikan bahwa hal itu sesuai dengan standar. Disusul lagi pertanyaan dari peserta lokakarya terkait manajemen resiko. John menjelaskan bahwa penanganan resiko merupakan suatu sistem yang terpisah dari sistem monev-nya dan harus dilaporkan kepada dewan pengurus yang perlu diidentifikasi resiko dan dimonitor. Proses ini menjadi salah satu kebutuhan organsiasi yang dinilai dari monev organisasi, apakah organisasi mampu mengidentifikasikan resiko. Monev itu menilai apakah sistem mengalami resiko.

Research Quality

Materi research quality ini dipaparkan oleh Fred Carden. Fred menjelaskan bahwa penelitian kebijakan yang unggul adalah penelitian yang bisa berkontribusi terhadap kebijakan dan berpengaruh pada kebijakan. Sementara, evaluasi kualitas penelitian bisa dilihat dari jumlah publikasi, peringkat jurnal, serta peer review. Ika hasilnya semakin banyak maka semakin baik. Fred juga menjelaskan bahwa peer review sebagai bagian dari baseline. Terkadang peer review tidak adil karena bisa terjadi banyak bias, banyak kompetisi dan saling menjatuhkan. Namun peer review perlu dilakukan untuk mengatasi masalah. Seringkali penelitian tidak digunakan oleh pemangku kepentingan walau sebenarnya penelitian tersebut baik. Lalu bagaimana mensosialisasikan & mendorong pemangku kepentingan? Fred mengatakan bahwa lembaga perlu mencari mana yang kira-kira bisa dipengaruhi. Di akhir materi, Fred menjelaskan bahwa prinsip kualitas penelitian adalah dari proses dan impact maka harus dilihat dari aspek riset. Bila disusun sesuai dengan audiens, akan lebih baik. Tools untuk menilainya bisa dengan statistik (jumlah download di website, orang yang mendatangi informasi yang Anda buat), jumlah peserta yang mendaftar dan benar-benar datang dalam pemaparan hasil penelitian, dan bertambah banyak partisipan yang ikut. Hal tersebut menunjukkan ketertarikan audiens. Menurut pengamatan, dari banyak event ada peserta yang banyak dan tidak. Lembaga bisa belajar dari yang banyak pesertanya. Fred juga menambahkan bahwa untuk meningkatkan kunjungan pada dokumen penelitian, Anda bisa menaruh pada website lain atau menunjukkan link dokumen Anda.

Pengembangan Rencana M&E organisasi:

Materi sesi ini dijelaskan oleh Krisna Hort. Krisna menjelaskan bahwa sesi ini bukan membahas menyusun rencana M&E di tingkat organisasi melainkan langkahnya misalnya membangun komitmen di tingkat organisasi. Lima langkah menyusun rencana M&E organisasi meliputi menjelaskan tujuan organsasi (harus jelas dan sesuai kemampuan organisasi), menyusun ‘theory of change’ yang menggambarkan bagaimana organisasi akan mencapai tujuannya, menentukan kegiatan M&E di setiap lima tingkat M&E organisasi, menilai kemampuan organisasi serta apa yang dibutuhkan organisasi untuk melakukan kegiatan M&E di setiap tingkat, dan menentukan tingkat mana adalah prioritas serta menyusun rencana pelaksanaan kegiatan M&E di tingkat tersebut. Setelah Krisna Hort menjelaskan sedikit langkah menyusun rencana M&E organisasi, peserta diminta kerja kelompok untuk mengidentifikasi persiapan rencana M&E organisasi. Setelah kerja kelompok, tiap lembaga diminta menceritakan persiapan untuk sebuah rencana M&E organisasi. Beberapa yang bisa diambil pelajaran dari beberapa lembaga yaitu dari Puskapol UI telah memiliki peta jalan riset/ agenda riset. Dari lembaga FITRA & ELSAM menyarankan perlu analisis beban kerja karena belum memiliki cara mengukur beban kerja staf.

Reportase

Lokakarya Monitoring & Evaluasi

Memanfaatkan Sistem Monitoring dan Evaluasi untuk Penguatan Organisasi

  Pada hari ketiga lokakarya ini, acara dibagi menjadi dua sesi yaitu sesi pagi untuk diskusi membahas parking lot yaitu pertanyaan-pertanyaan yang disampaikan oleh peserta lokakarya pada hari pertama dan kedua yang belum bisa dijawab oleh pembicara dan dijawab pada hari ketiga ini. Sesi selanjutnya adalah klinik konsultasi yang mana tiap lembaga akan konsultasi ke para “dokter klinik” dari KSI diantaranya Krishna Hort dan John Young. Sesi pagi, diskusi sangat hangat antara pembicara dan peserta lokakarya. Salah satu peserta lokakarya memberikan saran bahwa KSI perlu baseline untuk tujuan bersama yaitu untuk memperkuat lembaga riset dalam hal kualitas riset yang dilakukan. Dalam rangka  mencapai hal itu perlu dasar atau pijakan melalui baseline. Kemudian, untuk melakukan baseline bisa dilakukan dengan rubrik (input data yang penting). OSA akan menjadi role material untuk membuat rubrik ini. Lalu, untuk mengembangkan rubrik ini dengan mengembangkannya bersama-sama lembaga. Lalu, apakah lembaga perlu membentuk working grup? Untuk isinya sangat tergantung lembaga masing-masing. Poinnya dari pengumpulan data sejalan dengan apa yang dirumuskan. John Young menjelaskan bahwa OSA kemarin bukan cara terbaik untuk mendapatkan baseline tapi alat untuk membantu menentukan langkah sejauh mana posisi lembaga kita dan langkah apa yang akan dilakukan ke depan. Selain itu, tidak ada maksud untuk menggunakan pendekatan tersebut namun disesuaikan dengan kenyamanan organisasi. Hal ini dilatarbelakangi hal yang terpenting bagi KSI adalah hasilnya. Pertanyaan dari peserta pun muncul lagi diantaranya baseline seharusnya dilakukan oleh KSI karena bila lembaga yang melakukan, subjektivitasnya akan tinggi dan perlu energi untuk melakukan ini. Sehingga KSI perlu mempunyai baseline yang lebih utuh. Tiap lembaga membuat lesson learn mengenai strategi yang dilakukan untuk mempengaruhi kebijakan. Sehingga standar yang ditetapkan dapat memayungi keragaman tersebut. Dari hasil diskusi yang panjang antara peserta dan KSI, diperoleh hasil sebagai berikut:

1. Untuk standar, KSI tidak akan menstandarkan namun akan menggunakan rubrik yang prinsipnya adalah baseline yang harus dikerjakan dan dipenuhi oleh tiap lembaga.
2. KSI akan menyusun rubrik yang lain seperti demand site (government dalam hal knowledge riset).
3. Rubrik week (untuk KSI, untuk mitra) yang rencananya akan ada dua hari (mulai minggu ke dua bulan Juli tepatnya tanggal 14 juli).
4. Working grup dari lembaga yang akan berperan sebagai forum konsultasi untuk mengembangkan:

• Rubrik & M&E tools (PPIM, ELSAM, PPH Atmajaya, Sajogya Inst, Akatiga, SMERU)
• Research quality (Puskapol UI, IRE, Sains, Pusad, Akatiga, PPH, PKMK)

Di sesi siang hari, tiap lembaga berkonsultasi dengan “dokter klinik” terkait M&E. PKMK FK UGM mendapat kesempatan berkonsultasi dengan Krisna Host yang mana telah sembilan tahun mengenal PKMK FK UGM. Konsultasi diawali dengan pertanyaan dari Krisna Hort yaitu apakah PKMK FK UGM sudah memiliki tujuan? Apakah di renstra, ada yang untuk tujuan organisasi? Apakah di Renstra dijelaskan perlunya di tingkat kebijakan? Dari pertanyaan tersebut, Ni Luh Putu Eka Andayani SKM, MKes selaku PJS PKMK FK UGM, memaparkan mengenai kondisi PKMK FK UGM yang sudah memiliki renstra walaupun renstra lebih berorientasi keluar. Krisna Hort menyatakan bahwa Renstra PKMK FK UGM sudah lama (tahun 2010) dan belum mencakup yang sebenarnya dibutuhkan. Sehingga tahun ini, PKMK FK UGM perlu membuat Renstra lagi. Namun untuk membuat Renstra memerlukan waktu lama. Sehingga, sembari menunggu perbaikan Renstra, PKMK FK UGM bisa memilih 1-3 program strategi yang paling unggul sebagai sasaran pengusulan program M&E. Dari program tersebut perlu dibagi menjadi dua yaitu untuk internal dan eksternal. Untuk internal bisa memilih program yang dianggap paling bisa membantu PKMK FK UGM dalam hal kemampuan organisasi dan memiliki daya ungkit misalnya meningkatkan kemampuan peneliti dalam publikasi, menambah jumlah peneliti (seimbang antara peneliti laki-laki dan wanita), meningkatkan peneliti muda menjadi peneliti madya atau peneliti senior. Untuk program yang di luar organisasi misalnya evaluasi pelaksanaan JKN, menangani tingginya angka kematian ibu anak. Kemudian, untuk menilai organisasi tidak perlu menilai organisasi secara keseluruhan melainkan menggunakan indikator yang bisa menggambarkan kinerja organisasi secara keseluruhan. Sehingga pilih yang dianggap mewakili. Organisasilah yang harus menentukannya sendiri, perlu output yang jelas, ukuran up take (misalnya mengundang kemenkes untuk menjelaskan program yang telah dikerjakan) dan outcome yang jelas pula (misalnya adanya juknis atau peraturan). Lalu bagaimana mengetahui program yang dipilih adalah program unggulan? Hal tersebut bisa dilihat fokus ke output-nya. Jika terjadi masalah pada kualitas antara program satu dengan program lain maka permasalahan terlebih lebih ke manajemen organisasi. Sehingga harus memastikan bahwa setiap produk memiliki kualitas yang tinggi misalnya kualitas SDM harus tinggi. Krisna Hort juga menginformasikan bahwa sebaiknya PKMK FK UGM memiliki PJ M&E yang mana memiliki kedudukan yang lebih tinggi sehingga dapat langsung melaporkan ke Direktur. M&E ke depannya akan menjadi tugas semua pihak. Hal yang tak kalah penting disampaikan Krisna Hort kepada setiap lembaga dan harapannya bisa dilakukan oleh lembaga adalah perlu pembelajaran setelah pelaksanaan kegiatan. Seringkali penelitian dilaksanakan namun pembelajaran terhadap pelaksanaannya tidak dapat ditangkap oleh semua orang di dalam lembaga. Pembelajaran yang seperti ini yang ternyata tidak tercatat. Sehingga perlu dilakukan setelah penelitian selesai, perlu dikumpulkan yang terlibat. Sehingga ada manfaat bagi staf yang lain yaitu mengetahui apa yang sudah diperoleh dari pelaksanaan penelitian. Harapannya, hal ini bisa meningkatkan semangat penelitian yang selanjutnya. Di akhir konsultasi, Krisna Hort menekankan kembali bahwa dalam menentukan alat ukur sebenarnya tidak sulit misalnya untuk organisasi internal bisa dilihat dari jumlah makalah yang dipublikasikan dari tiap divisi sehingga bisa terlihat kualitas masing-masing divisi. Kemudian, yang terpenting mudah diukur, mudah dihitung dan mewakili apa yang terjadi. Lalu, untuk mengukur kualitas, tidak perlu semua harus diukur.