• bir makaleyi teorik veya metodolojik katkısı yönünden değerlendirmek ve ilgili akademik dergide yayınlanıp yayınlanmayacağına karar vermek. eksik, yanlış, gedik ne varsa bulup, şahsiyetinizin durumuna göre bir kibarlık süzgecinden geçirip yazar(lar)a editör aracılığıyla iletirsiniz. sizden ve muhtemelen en az bir kişiden daha gelecek değerlendirmeye göre o makale ret veya kabul edilir; sıklıkla az veya çok düzeltme verilir.
  • göründüğünden daha zor ve tecrübe gerektiren bir eylemdir. zira makale değerlendirmesi yapabilmek için hem o alana hakim olmanız hem de makale yazma usul ve üsluplarını iyi derecede biliyor olmanız gerekir.
  • genellikle çeşitli yöntemleri ve şablonlar vardır. ancak, ekşiduyuru'daki bir soruya istinaden giriş'ten en sonuna kadar şöyle bir şablon çıkarabiliriz. (kopyalayıp yapıştırıyorum)

    ıntroduction: "konuya iyi bir giriş yapılmış mı" sorusuna cevap verir ama iyi giriş yapmanın nasıl değerlendirilmesi gerekir, buna bakalım.
    *problemin ne olduğu açık ve net bir şekilde belirtilmiş mi?
    *problemin tarihçesi belirtilmiş mi? (ilk kim bu problemi ele almış ve nasıl gelişmiş)
    *problemin bilimsel, ekonomik, çevresel, vb. önemine yeterince değinilmiş mi?
    *problem için kullanılan çözüm önerileri şu ana kadar nelermiş, kısaca değinilmiş mi? (çünkü ayrıntılısı normalde literature review kısmında belirtiliyor)

    en önemlileri:
    *literatürdeki boşluk belirtilmiş mi? bu makale literatürdeki hangi eksikliğe cevap veriyor, belirtiliyor mu? (eğer literatürde bir boşluk yoksa konu ile ilgili çalışmanın nedeni büyük olasılıkla yoktur, birtakım tezleri destekleme veya çürütme amaçlı çalışmalar hariç. ancak, o çalışmalar da yeterli çalışma olmadığı için yapılır zaten)
    *yazarların çalışmadaki motivasyonları neler? bunun anlamı şu: bu çalışmayı neden yapmışlar? (sadece literatür boşlukları olması yeterli bir neden değildir. bu çalışmaya yol açan birtakım sinyaller almış olmaları ve buradaki sinyallerin sonucu bu noktaya gitmeli. çalışmanın bir destekli nedene ihtiyacı var. örneğin, "bilmemkim et al.'ın çalışması (2007) x yönteminin y'de başarılı olduğunu göstermiştir. y ve z yakın alanlardır. dolayısıyla, bu çalışma x yöntemini z alanında uygulayacak ve sonuçlarını inceleyecektir. böylece y alanında süper olan x'in z'ye de genelleştirilebilir olma olasılığı araştırılacaktır" gibi.
    "bu yöntemi aldık buraya uyguladık"ın neden ve nasıl kısımlarını içeren bir savunmaları olmalı.
    literature review:
    *literatür taraması konu dışına çıkıyor mu?
    *yeterince literatür taranmış mı?
    *bu çok yapılan bir hile: konu ile ilgili daha önceden yapılan ve yazarlar tarafından atlanan / referans verilmeyen çalışmalar var mı? (bazıları kendilerininki orijinal görünsün diye "to the best of our knowledge, böyle bir çalışma yok" diyor.
    *konu ile ilgili temel ve en önemli çalışmalara değinilmiş mi?
    örnek verelim ve az önceki x, y, z örneğine dönelim. örnekte, x yöntemi y alanında başarılı idi ve z'ye de uygun mu diye araştırılıyordu. bu durumda x yönteminin uygulandığı en önemli alanların üstünden geçilmiş mi? tüm alanlar listelenmiş mi? y'nin ve z'nin alanlarında kullanılan yöntemler çıkarılmış mı? y ve z'de uygulanan yöntemler arasında paralellik var mı? eğer y ve z'de kullanılan yöntemler paralel derecede başarı göstermiyorsa yazarlar x'in z'de başarılı olacağı sonucuna varamazlar. bu nedenle, bu tür bir savları varsa o savlarını destekleyici ve aynı zamanda çürütücü çalışmaları da ortaya çıkarmalılar ki biz de "evet, bu çalışma gerçekten bir literatür boşluğudur" diyelim. z'de daha önce hangi yöntemler kullanılmış ve ne derecede başarılı olmuş?
    *literatür taraması yansız mı, yanlı mı? bu kısım büyük literatür bilgisi veya araştırması gerektirir hakem için. çünkü, atıyorum ki yazarların tezini destekleyen 10 makale vardır ve bu makalelere çalışmada referans verilir. üstelik bunlar eski tarihlidir. ama çalışmayı çürütücü, son yıllarda çıkan 1000 makale vardır, bunlardan pek söz edilmez. bu yanılgıya düşmüş mü yazarlar.
    *state-of-the-art: çalışmaların çoğu (temel konuları anlatmayanlar), yeni çalışmalar mı? yoksa, yazar güncelliğini yitirmiş eksi çalışmalara mı referans vermiş?

    methodology:
    *x yöntemine referans verildiyse rastgele bir çalışmadan mı referans verilmiş; yoksa, x yöntemini öneren kişiye mi referans verilmiş? eğer x yöntemini başarılı kılan ve o günlere getiren kişilere referans verilmemişse adamın emeğine saygısızlık edilmiş demektir.
    *yöntemin adımları net ve ayrıntılı olarak açıklanmış mı?
    *yazarların önerdiği bir yöntem ise, yöntemin teorik olarak açıkları var mı?
    *yöntemin avantaj ve dezavantajları belirtilmiş mi?
    *karşılaştırıldığı yöntemler varsa, rakipleri ile arasındaki farklar neler?
    *her türlü sembol-simge, parametre açıklanmış mı?
    *metot yanlı mı, yansız mı tanıtılmış? (örneğin, çok hantal ve uzun süren bir yöntem, literatürdeki eskiden kullanılan ama temel bir yöntem ile karşılaştırılmış olabilir. ama state-of-the-art çalışmalar artık buna göre çok hızlıdır ve bu yöntemi, dolayısıyla çalışmayı da gereksiz kılabilir. tabii ki buna "bu yöntemin şu an gereksiz göründüğünü biliyoruz ama literatür hep bu temel yöntemlerle karşılaştırmalarla dolu ve bu yöntemin diğer bilimcilere daha iyisini yaratma konusunda ilham vereceğini düşünüyoruz. çünkü ileriki çalışmalar için bize şöyle şöyle düşündürttü" gibi geçerli bir savunması da olabilir.
    *yöntem anlaşılır şekilde anlatılmış mı?

    results'a geçmeden önce genelde bir application tanıtılır. nereye ne uygulandı gibi. bunu da results'ın içinde inceleyeceğim ve application & results diyeceğim.

    application & results:
    *uygulama verileri doğru, geçerli, sabunsuz ve mantıklı veriler mi? bunların bir savunması var mı?
    *sonuçlar gerçekten doğru mu? (bunu gerçekten görebilmek için kaç algoritma kodladığımı bilmiyorum. birkaç yazarın sonuçları çok fena attığını ve bu şekilde iyi gösterdiğini gördüm. bunlar özellikle bir ülkeden çıktılar ama şimdi ülke adı vererek ırkçılık yapmayayım)
    *sonuçların geçerliliğinin test edilmesi gerekiyor mu? gerekiyorsa geçerliliğini nasıl test etmişler? yapılan testlerde (özellikle istatistiki) yanlı bir yaklaşım mı uygulanmış, yansız mı?
    (örneğin, bir alanda bir kişi a, b ve c yöntemlerini denemiş olsun. a yöntemi 1000, b yöntemi 1002 ve c yöntemi 100 sonucunu vermiş olsun. b yöntemini yazarlar önermiş olsun, diğerleri de literatürde halihazırda var olan yöntemler olsun. normalde bunların arasında yapılan "bu ortalamalar birbirine eşit mi" testi a=b>c gibi bir sonuç verecekken; yazar kendi yöntemini öne çıkarmak için "c karşılaştırılmaya layık değil, görüldüğü gibi a ve b karşılaştırılmaya layık" diyerek c'nin verilerini çıkartır ve b>a'yı test ile kanıtlar. oysaki, büyük resimde b ve a eşit olabilirler.)
    sonuçların geçerliliği her şeyden önemlidir.
    *grafik kullanılması gereken yerlerde grafikler, şekiller kullanılması gereken yerde şekiller kullanılmış mı? yoksa gereğinden az veya fazla mı? (gereğini sonuçların savunulmasının iyi yapılıp yapılmadığı ve sonuçların anlaşılıp anlaşılmadığından belli olur. "burayı anlamadım, bir grafik olsa olacak" diyorsanız az, "bu buradan zaten anlaşılıyordu, şu şekle ne gerek var" deniyorsa fazla olma olasılığı yüksek)

    discussion:
    *literatür boşluğu, motivasyon ve elde edilen sonuçlar örtüşüyor mu? (anya'dan girilip konya'dan çıkılmaması gerek)
    *çalışmalardan elde edilen bulgularda eksik veya fazla nokta var mı? (kişisel yorumlarla mı süslenmiş veya atlanılan noktalar var mı)
    *bu çalışma, gelecekte hangi çalışmaları doğuracak? yeni problemlere veya yöntemlere ışık tutacak mı? gelecek çalışmalar belirtilmiş mi?

    bibliography/references: buranın içerik kısmına literature review kısmında değinmiştik. burada şekilsel yaklaşacağız.
    *makalede belirtilen her çalışma için referans verilmiş mi? aynı şekilde fazladan referans var mı?
    *referanslar alfabetik olarak veya çalışma içindeki görünüş sırasına göre mi dizilmiş?
    *makalelerin kendi içinde, kitapların kendi içinde, bildirilerin kendi içinde bir standart yazılış şekli var mı? bu standart yakalanmış mı? yanlış yazılanlar olmuş mu?
    *imla veya tarih hatası var mı? (özellikle yazar adlarında çok imla hatası oluyor)

    others:
    *ingilizceleri anlaşılır ve iyi mi? dilbilgisi hataları var mı? noktalama yerli yerinde mi?
    *yazı dili net ve sade mi? okunan anlaşılıyor mu?

    general comments:
    *çalışma ilgili derginin yayın konusu kapsamına giriyor mu?
    *yukarıdaki tüm değerlendirmeler ışığında, nasıl bir çalışma?

    decision: genelde 4 şey olur:
    *acceptance (accept as is): olduğu gibi çalışma kabul edilir, yukarıdaki hiç bir şeyden kalmamıştır. her şeyi düzgündür.
    *minor revision: küçük düzeltilmesi gereken yerler vardır. birkaç literatür düzenlemesi, originality & motivation'ın vurgulanması, discussion'ın yeniden yazılması, vb.
    *major revision: büyük düzeltmelerdir, neredeyse çalışmanın yeniden yapılmasını gerektirir. örneğin, bir başka yöntem veya alanın eklenip çalışmanın tekrarlanması, vb. ayrıca, yukarıdaki minor revision gerektiren noktaların sayısı çok çok fazla ise onlar birike birike major revision haline gelebilirler.
    *rejection: çalışma reddedilir. bu hali ile çok dandiktir, nereden tutsan elinde kalmaktadır.
  • yapıyorsam içimden mr. hyde çıkartan eylem.

    bana yapılmışsa #46448380 nolu entry'dekine hiç rastlamadığım eylem.

    genelde çalakalem yapılıyor. misal "yetersiz" yazıyorlar ama neden yetersiz olduğu, neler yapılabileceği gibi açıklamalar eksik bırakılıyor. o zamanda hakemin kulakları çokca çınlatılıyor.
  • ingilizce bir metni değerlendiriyorsanız, native speaker tarafından redakte edilmesini istersiniz. o artık şarttır, farzdır.
    emek verilmiş hiçbir çalışmayı alaşağı etmem ama tırışka bir dergi bana bu türden bir emrivaki yapmış ise, derginin kalibresine uygun kötü çalışmalar geldiği için hiçbiri benden onay alamaz. tamam öylesi dergiye nejm kıvamında makale beklemiyorum ama bariz şişirme bir manuscript var karşımda. derhal gerekçeleri ile elerim. düzeltseniz de buraya bir daha göndermeyin diye eklerim.

    o dergi de bir daha bana emrivaki yayın göndermez.
  • hakemlik ile ilgili bilgisi olan arkadaşlar yeşillendirebilirse çok sevinirim. kafama takılan ufak bir soru var da

    tanım: 2-3 kişi tarafından genellikle kör hakem sistemiyle yapılan değerlendirme süreci.
hesabın var mı? giriş yap