Herkes test yapabilir, özellikle şimdi yapay zekanın yapabildiği her şeyle. Daha zor soru, bu testin iddia ettiği şeyi ölçüp ölçmediği, popülasyonlar arasında geçerli olup olmadığı ve ölçekte adil ve geçerli olup olmadığıdır.
ETS her yıl milyonlarca test geliştirir, uygular ve puanlar alır ve bunların çoğu, sınavları alan kişiler için gerçek sonuçlar doğurmaktadır. Tek bir sonuç, bir öğrencinin geleceğini, kariyer fırsatını veya lisanslama sonucunu şekillendirebilir. İnsanlar için bu fırsatları mümkün kılmak, misyonumuzu yönlendiren ve kendimizi bu kadar yüksek standartlara koymamızın nedenidir. Yapay zeka devreye girdiğinde, çıta daha da yükselir, daha da düşmez. Bunu yapay zekanın değer kattığı yerler konusunda disiplinli seçimler yaparak ve insanların kontrolü elinde tutmakla karşılıyoruz.
ETS, değerlendirme yaşam döngüsü boyunca YZ'yi nasıl kullanıyor?
ETS'de yapay zeka, değerlendirme yaşam döngüsünün birden fazla aşamasını destekler: içerik geliştirme, test montajı ve sunumu, ayrıca puanlama.
İçerik geliştirme
Çoğu ana programımızda öğelerin ve ilgili içeriklerin ilk taslaklarını oluşturmak için özel yapay zeka içerik motorumuzu kullanıyoruz. Yapay zeka korumalarını, kısıtlamalarını ve gereksinimlerini belirliyoruz ve onlarca yıllık değerlendirme geliştirme deneyimiyle ilk nesli uygun şekillerde yönlendiriyoruz. Bugün, değerlendirme içeriğimizin yaklaşık %80'i, sorular ve okuma bölümleri dahil, Buradan başla.
Ama içerik üretmek sadece başlangıç noktasıdır. Bir ürün programlarımızda kullanılmadan önce, beklentilere ve amaçlanan ölçüm ölçümlerine uygun davrandığını doğrulayan adil ve erişilebilir olmasını sağlayan yapılandırılmış bir inceleme sürecinden geçer. Basitçe söylemek gerekirse, yapay zeka çıktısını bitmiş iş olarak görmüyoruz. Onu kullanılmaya hak edilmesi gereken bir aday olarak görüyoruz.
Montaj ve teslimat
Yapay zekayı kullanarak testleri gerçek zamanlı uyarlayarak kişiselleştirmeye yardımcı oluyoruz. Uyarlanabilir test ortamında, sorular veya görevler, test katılımcısının öncekilere nasıl yanıt verdiğine göre seçilebilir ve böylece değerlendirmenin doğru kanıtı daha verimli toplamasına yardımcı olur. Bu tür bir değerlendirme, daha kısa ve verimli test sürelerine olanak tanıyabilir, sınav katılımcıları için "oturma süresi" azaltıldı ve içeriği kendi seviyelerine daha yakın şekilde uyarladı.
Bu sadece sınav yapanların neler yapabileceklerini göstermeleri için daha iyi bir yol değil. Bu aynı zamanda önemli bir güvenlik önlemidir: İnsanlar aynı formu alamazlar ve bu nedenle farklı içerik setleri alabilirler.
Puanlama
ETS, büyük dil modellerinin (LLM) yükselişinden çok önce, 2000'lerin başından beri puanlamada yapay zeka kullanmaktadır. Asıl soru, yapay zekanın yanıt alıp alamayacağı değil, bunu güvenilir, adil ve hizmet verdiği programın standartlarına uygun şekilde yapıp yapamayacağıdır.
Bu yüzden bazı ETS değerlendirmeleri tamamen insanlar tarafından puanlanırken, diğerleri yalnızca yapay zeka kullanırken, diğerleri yanıt türüne bağlı olarak hem yapay zeka hem de insan puanlamalarının kombinasyonunu kullanır. Doğru puanlama modeli, programa, puanın risklerine, değerlendirilen yanıt türüne ve hizmet verdiği pazarların beklentilerine bağlıdır, hepsi her öğrenci için en doğru, adil ve savunulabilir sonucu elde etmek içindir.
"Güven" paydaşlarımız için ne anlama geliyor
Yapay zeka destekli değerlendirmeye güven tek bir özellik değildir. Sorun, sistemin sürekli olarak geçerli, adil ve güvenilir sonuçlar üretip üretmediği ve bu sonuçlara güvenen kişilerin buna inanıp inanmadığıdır.
Temel ETS paydaşlarının her biri güveni yapay zeka ile ilişki açısından farklı şekilde anlar. Test yapanlar genellikle güveni adalet ve şeffaflığın bir sonucu olarak görürken, kurumsal ortaklar disiplinli yaşam döngüsü kontrollerinin ve insanların döngüde olduğuna dair kanıtlar isteyebilir. Ortaklar, programlar büyüdükçe YZ'nin karşılaştırılabilirlik, güvenilirlik veya adaleti zayıflatmadığından emin olmak için sürekli izleme ile ilgileniyor. Ve politika yapıcıların, risklerin nüfuslar arasında nasıl tanımlandığına, ölçüldüğüne ve yönetildiğine dair net bir açıklamaya ihtiyacı var.
ETS'de amaç, yapay zekayı her yerde kullanmak değil. Onlarca yıl boyunca inşa ettiğimiz standartları sürdürürken, öğrenciler ve kurumlar için daha fazlasını yapmamıza yardımcı olduğu yerde kullanmak. Bu, görev için doğru yöntemi kullanmak, insanları sorumlu tutmak ve yeni bir yeteneğe güvenmeden önce kanıtları titizlikle değerlendirmek anlamına gelir. İşte bu şekilde yapay zekayı faydalı ve sorumlu hale getirirken, puan verenlerimiz ve eğitimcilerimiz tarafından bize ve ürünlerimize aşılanan güveni koruyoruz.