computer adaptive testing

• bilgisayarla uygulanan irt^* temelli güzide bir sınav uygulama modeli. puan hesaplanması, madde seçimi algoritması, sınavın durdurulma algoritması kağıt kalem testlerinden farklılık gösterir. toefl, gre, sat, act ve benzeri sınavlar cat ile uygulanır. cat in en temel farkı maddelerin sonunda yetenek kesitirmi yapılması ve sonraki soruları belirlenen yetenek kesitirimine göre yapılmasıdır. kabaca, sorulara doğru cevap verdikçe daha zor, yanlış cevap verdikçe daha kolay sorular gelecektir. cat ile ilgili olarak http://edres.org/scripts/cat/catdemo.htm sitesinde detaylı bilgiler verilmiş, hatta oynamak üzere bir cat simulasyonu da sağlanmıştır. cat in avantajları ve dezavantajları aşağıdaki gibi sıralanabilir.
  
  cat'in avantajları
  
  1. adaylar diledikleri zaman sınava girebilir.
  
  2. sonuçlar hemen verilebilir.
  
  3. alt yapı kurulduktan sonra, sınavın uygulanması daha kolay olabilir. sınav evrakı koruma kuryesi ve nakil kuryesi gibi görevlilere ihtiyaç duyulmaz.
  
  4. bölümler arası beklemeler ve geçişler bireysel olarak ayarlandığı için hızlı giden adayın diğerlerini sınav esansında bekleme zorunluluğu veya ilgili bölüme cevap vermek istemeyip diğer bölüme geçmek isteyen adayın beklemek zorunluluğu kalmayacaktır.
  
  5. soru kitapçıkları basılmayacağı için matbaa güvenliği sıkıntısı da olmayacaktır. soru kitapçıklarının çalınması endişesinin olmaması test güvenliği açısından avantajlıdır.
  
  6. kağıt üzerinde uygulanamayan değişik ve yeni madde formatları kullanılabilir.
  
  7. kağıt kalem testi ile aynı ölçüde güvenirlik, kağıt kalem testinin yarı uzunluğunda bir testle sağlanabilir.
  
  8. sınavın uzunluğunun kısalması adayların yorulmasından kaynaklı hata miktarını azaltır.
  
  9. kağıt kalem testleri irt açısından bakıldığında "ortalama adaylar" için yüksek hasiyet sağlarken cat ile uygulanan testler düşük ve yüksek yetenek seviyesindeki adaylar için de belirlenen ölçüde hassasiyet /yüksek bilgi fonksiyonu değeri, düşük hata varyansı) sağlayabilir. (klasik test teorisi açısından bakıldığında her aday için aynı ölçme hatası varyansını verdiği için ktt ile bunu incelemek mümkün değildir.)
  
  cat'in dezavantajları
  
  1. her tür yetenek ve davranışın ölçülmesinde cat kullanılamayabilir. irt belli madde formatlarında kullanılamayabilir.
  
  2. bazı madde formatları donanım açısından uygulamaya elverişli olmayabilir.
  
  3. kağıt kalem testi ile belirlenen madde parametreleri cat içinde aynı şekilde uygun olmayabilir. cat için ayrıca madde kalibrasyonu yapılmalıdır.
  
  4. cat'in uygulanması için yeterince bilgisayar ve yeterince aday var olmalıdır. ayrıca adayların en azından belli ölçüde bilgisayara aşina olması gerekir.
  
  5. testin uygulanış biçimi kağıt kalem testinden farklı olduğu için bazı adaylar uyum sağlamakta zorlanabilir.
  
  6. her aday aynı sorulara cevap vermediği için adaylar bir eşitsizlik hissine kapılabilir.
  
  7. cat içinde geri dönüş yapıp cevap değiştirmeye izin verilememektedir. örneğin bir aday kasten ilk birkaç soruyu yanlış cevaplamış olsun. bu durumda cat algoritması düşük bir yetenek kestirimi yapıp bir dizi kolay soru soracaktır. eğer geri dönmeye izin verilmiş olsaydı, aday testin sonunda geri dönüp ilk sorulara cevaplarını düzeltebilir ve böylece tüm soruları doğru cevaplamış olur. bu da yetenek kestiriminin olması gerekenden çok yüksek olmasına yol açacaktır.
  
  http://www.fairtest.org/facts/computer.htm adresinde cat in eleştirilen yönlerine yer verilmiştir.
• http://www.psikolog.org.tr/…_detail.asp?cat=1&id=25
• cat, kpss rezaletinin bir daha tekrarlanmamasini saglayabilecek en ideal cozumlerden biridir. cat sisteminde her bir aday yukarida da anlatildigi gibi farkli sorulara cevap verir ve bu sorular onceden belirlenmemis olup yuzbinlerce sorudan olusan bir veritabanindan her bir adayin daha onceki sorulara verdigi dogru ve yanlis yanit sayisi dikkate alinarak zorluk seviyesine gore rastgele secilir ve adaya gosterilir. dolayisiyla her bir adayin sinavi tamamen farkli sorulardan olusur.
  
  sorular rastgele secildigi icin ve dolayisiyla her bir adayin sinavi bir digerinden farkli oldugu icin herhangi bir serefsizin sinavda cikacak sorulari calmasi ve dagitmasi mumkun olmamaktadir. yuzbinlerce sorudan olusan veritabanini calmasi ise pratikte hicbir ise yaramayacaktir zira bu durumda adam gibi sinava calismak aday icin daha mantikli hale gelmektedir.
  
  cat'i uygulamak initial investment gerektirir, zira hem bu sistemin yonetilmesini saglayacak merkezi altyapi olusturulmali hem de sinavin gerceklestirilecegi sinav salonlari gerekli bilgisayar donanimina ve network baglantisina uygun hale getirilmelidir. ancak osym her yil cesitli adaylardan topladigi onyuzbin milyar tl'yi matbaalara yedirmek yerine bu is icin gerekli yatirimi yaparsa ileride yasanabilecek sinav rezaletlerinin de onune gecebilecektir.
  
  ayrica yine yukarida bahsedildigi gibi cat sistemi dogasi geregi adaylarin diledikleri zaman sinava girebilmelerini mumkun kilmaktadir.
  
  cat adaylar icin bir dezavantaj olusturmamaktadir. aksine adalet duygusunu percinlemektedir.
  cat'in bilgisayar kullanimina asina olmayi gerektirdigi bir gercektir, ancak bu devirde mouse kullanacak kadar bilgisayara asina olmayan bir birey de devlet memuru olmasindir, oss gibi sinavlar icinse boyle bir sorun yoktur zira tum genclerimizin bilgisayar konusunda masallahi vardir, ustelik liselerde verilen temel bilgisayar egitimi cat sistemine asinalik bakimindan yeterlidir.
  
  cat candir.
• computer adaptive testing (cat), kişinin kendisine yakışan testi almasıdır.
  
  cat der ki;
  
  - al arkadaşım sana orta güçlükte bir soru, hadi cevapla.
  - doğru cevapladın, aferin. al sana biraz daha zor bir soru, hadi bir de bunu dene.
  - sanırım bu sefer yapamadın, gel soruyu birazcık kolaylaştıralım.
  - ...
  - ...
  - kestirdiğim yetenek düzeyin için hesapladığım standart hata belirlenen ölçütün altında kaldı. yani oldukça güvenilir bir şekilde yeteneğini kestirdim. al bu da senin teta değerin hüsnü
  
  cat'in bunları diyebilmesi için genişçe bir madde havuzuna ihtiyacı vardır. öyle ki, bu havuzda her yetenek düzeyini hedefleyen maddeler olmalıdır. yani hem tembel öğrenciye, hem çalışkan öğrenciye uygun sorular olmalı.
  
  yoksa tembel öğrenciye zor sorular gelir (incecik adama, terzi sürekli 10 beden büyük kalıp çıkarıyor gibi düşünün). ya da çalışkan öğrenciye kolay sorular gelir (battalgazi gibi adama, daracık taytlar giydirmeye çalışan bir terzi). "insanın kendisine yakışan testi alması" diye boşa söylenmedi. bunu yapabilmek için her türden insana uygun soruları o havuza koymak gerekiyor.
  
  daha sonra cat, madde havuzundan belli kurallara göre madde (soru) seçer. bunun için farklı algoritmalar yer alıyor. algoritmaların temelinde şu vardır: kişi soruya cevap verir, cevaba göre kişinin yeteneği kestirilir. bu yetenek düzeyine göre yeni bir soru seçilir. ama kişinin yeteneği hakkında bilgi sahibi olmadığımız, teste başlangıç düzeyinde cat ilk soruyu neye göre verecek? bunun için de farklı yöntemler mevcut. ya orta güçlükte bir soru verilir, ya da küçük birkaç soru ile yetenek kestirilmeye çalışılabilir ve teste sonra başlanabilir vb.
  
  cat soruyu seçtikten sonra, kişi soruya bir cevap verir (doğru - yanlış ya da hiç katılmıyorum ... tamamen katılıyorum). bu cevaba göre belli yöntemler ışığında kişinin yetenek düzeyi kestirilir. burada farklı yöntemler kullanılabilir.
  
  sonra bu yetenek düzeyine göre madde havuzundan bir madde daha seçilir ve cat bir döngüye girer. ta ki belli bir durdurma kuralı sağlanana kadar. bu durdurma kuralı genellikle standart hataya dayalı bir kural olur. yani testi uygulayan şahıs "kişinin yeteneğini şu kadar standart hata ile kestirmen benim için yeterli" diyorsa, standart hata o değerin altına düşünce test durdurulur. tabi kullanılabilecek tek kural bu değildir.
  
  ve test durur.
  
  bu döngü ile:
  
  - test uzunluğu önemli ölçüde azalır
  - test için tek bir güvenilirlik değeri değil, herkes için ayrı ayrı güvenilirlik değeri belirlenebilir (bknz: durdurma kuralı: standart hata)
  - herkes kendisine uygun soruları alır, yeteneğinin çok üstünde ya da çok altında sorulara maruz kalmaz.
  
  özetle, cat iyidir hoştur. ancak yukarıdaki entrylerde belirtilen sınırlılıkları da vardır. sınıf içinde bir öğretmenin cat kullanması belki çok kullanışlı değildir, ancak ösym gibi ulusal çapta sınavlar yapan bir kurum için oldukça kıymetli bir yöntemdir.
  
  ayrıca, cat yalnızca başarı testlerinde değil, tutum - kaygı ölçekleri, ilgi envanterleri vb. ölçme araçlarında da kullanılabilir.