MEDİMAGAZİN - Araştırmacılar, yenilik, önem, kabul veya ret nedenleri ve iyileştirme önerileri gibi hususlara odaklanarak bilimsel makaleler hakkında yapıcı geri bildirim üreten bir büyük dil modeli (LLM) geliştirdi ve doğruladı. GPT-4 çerçevesini kullanan model, disiplinler arası bilimsel dergilerin inceleme yapısını yansıtarak ham PDF bilimsel makaleleri işliyor.
Karşılaştırmalı analiz: Yapay zeka ve insan hakemler
Büyük ölçekli bir sistematik analizden elde edilen sonuçlar, YZ modelinin insan araştırmacılarla karşılaştırılabilir geri bildirim sağladığını gösterdi. Bilimsel topluluk arasında daha sonra yapılan bir kullanıcı çalışması, araştırmacıların %50'sinden fazlasının YZ geri bildiriminden memnun olduğunu ve %82,4'ünün YZ geri bildirimini insan hakemlerden daha yararlı bulduğunu ortaya koydu.
Bu durum, YZY'lerin bilimsel inceleme sürecinde, özellikle de makale hazırlığının ilk aşamalarında insan geri bildirimini tamamlayabileceğini gösteriyor.
Tarihsel olarak, akran bilim insanları, araştırma makalelerindeki içeriği geçerlilik ve doğruluk açısından doğrulayarak çeşitli alanlarda ilerlemeye önemli ölçüde katkıda bulundular. Ancak bilimsel inceleme süreci, araştırma ve kişisel yaşamın hızlı temposu nedeniyle giderek daha zahmetli ve kaynak yoğun hale geldi. Yayınların katlanarak artması ve bilimsel araştırma alanlarının giderek uzmanlaşması bu eğilimi daha da karmaşık hale getiriyor.
Araştırma makalelerinin doğrulanmasında önemli rol oynuyor
Bilgi ve iletişime uygulanan ve 'bilgi entropisi' olarak bilinen yapılandırılmış matematiksel çerçeve 1940'larda Claude Shannon tarafından kavramsallaştırılmıştır. Bu kavram, araştırma makalelerindeki içeriğin geçerlilik, yorumlama doğruluğu ve iletişim açısından doğrulanmasında çok önemli bir rol oynamıştır. Ayrıca, fikir paylaşımı ve yapıcı tartışmalar yoluyla yeni disiplinler arası bilimsel paradigmaların ortaya çıkmasında da çok önemli olmuştur.
LLM'ler, özellikle de Transformer tabanlı mimarileri kullananlar, son yıllarda makale tarama, kontrol listesi doğrulama ve hata tanımlama araçları olarak araştırılmıştır.
Bu çalışma, araştırmanın önemi ve yeniliği, kabul veya ret için potansiyel nedenler ve iyileştirme önerileri gibi temel hususlara odaklanarak bilimsel inceleme sürecini otomatikleştirmek için GPT-4 çerçevesine dayalı bir LLM geliştirmeyi ve test etmeyi amaçladı.
İnsanlardan biraz daha iyi performans gösterdi
Geriye dönük değerlendirme sonuçları, GPT-4 modelinin hakemlerden gelen neredeyse tüm ilgili eleştirileri tespit edip çıkarabildiğini gösteren %96,8'lik (çıkarma) etkileyici F1 doğruluk puanlarını gösterdi.
Model, makalelerde aynı endişe/iyileştirme noktalarını belirleyen birden fazla bağımsız hakem konusunda insanlardan biraz daha iyi performans gösterdi. Ayrıca, katılımcıların %50'sinden fazlası gelecekte GPT-4 modelini yeniden kullanma isteğini dile getirerek modelin başarısını ve araştırmacıların yaşam kalitesini artırmak için benzer otomasyon araçları geliştirmenin potansiyel değerini vurguladı.
Bilimsel uzmanları aşabilir
Geliştirilen yapay zeka modeli ve benzer araçlar, insan girdisinin tamamen yerini almayı amaçlamamakla birlikte, bilimsel süreçteki mevcut sistemleri tamamlayabilir, yayın verimliliğini artırabilir ve araştırma topluluğu genelinde erişimi demokratikleştirebilir.
YZ modeli, potansiyel olarak araştırmacılar üzerindeki iş yükünü ve baskıyı azaltarak, muhtemel yazarlara ilgili, jenerik olmayan araştırma geri bildirimi sağlamada bilimsel uzmanlarla eşleşebileceğini ve hatta onları aşabileceğini gösterdi.
.JPG&w=384&q=75)
