Önceden eğitilmiş dil modelleri ile yapay makine hindileri oluşturma

Makine öğrenimi sistemlerinin geliştirilmesinin çoğu, yüzlerce, binlerce sorunun (ör. Bu bir kedi resmi mi? Ve Bu metin saldırgan mı?) AI sistemleri için eğitilecek resmi veri tabanlarının oluşturulmasına yönelik olmalıdır.

Rağmen Hepimiz katkıda bulunuruz Bir noktada, bu etiketleme görevlerinin çoğu, açıklamalı iş ekonomisinde küçük sınıflandırma görevlerini tamamlayan Amazon Mechanical Turk gibi bir çerçevede insan işçiler tarafından para için yapıldı.

Önceden eğitilmiş dil modelleri (PLM’ler) şu anda AMT ve Grout Source bazı temel insan zekası görevlerini (HIT’ler) gerçekleştirebiliyorsa, model geliştirme daha ucuz olacaktır. Benzer siteler.

Almanya ve Huawei’den yapılan son araştırmalar bunu gösteriyor Kağıt LMturk: ​​​​Kitle kaynak kullanımı çalışanları olarak bazı öğrenciler.

Dil modelleri biraz hızlı öğrenme yapar

Yazarlar, genel olarak (insan) Türk işçilere yönelik daha basit görev katmanlarının, otomatik yapının küçük ölçekli örneklere dayalı olarak küçük bir görevi belirlemesi gereken bir anlık öğrenmeye benzer olduğunu öne sürüyorlar.

Bu nedenle, AI sistemleri her şeyden önce mevcut PLM’lerden gelen ham işçiler tarafından eğitilir – makineler tarafından insanlara verilen temel bilgiler zaten etkin bir şekilde uygulanmıştır ve bu tür bilgiler nispeten değişmemiş veya deneyimlenmişse, bunun otomatik bir dil olmasını önerirler. Model yapılar bu görevleri kendi içlerinde gerçekleştirebilmektedir.

‘Temel fikrimiz, NLP görev gücü için, bazı acemi öğrencilere, insan dili teknolojisi kaynaklarına atıfta bulunan ekip kaynaklı işçiler gibi vasıfsız işçiler olarak muamele etmemizdir. Bakkal işçisini sadece birkaç deneyimli öğrenci olarak görebildiğimiz gerçeğinden ilham alıyoruz.’

Yapay zeka sistemlerinin gelecekte dayanacağı temel gerçeklerin çoğu, birkaç yıl önce insanlardan elde edilmiş olabilir ve bundan sonra, insan müdahalesi gerektirmeyen, önceden doğrulanmış ve sömürüye dayalı bilgiler olarak kabul edilecektir.

Orta Ölçekli, Yarı Performanslı Dil Modelleri için İşler

Araştırmacılar ayrıca virüse karşı her türlü tedbire kedilerin dahil edilmesi gerektiğini söylüyorlar. Yok canım Mekanik Türkler, büyük harf kullanımı, hiper ölçek ve GPT-3 gibi daha pahalı ve bu tür görevlere daha özgü olan pahalı dil modelleri nedeniyle ortadan kaybolan bu ‘çalışan’ sistemler için faydalı işler sağlar.

‘Bu makaledeki amacımız, mevcut az sayıdaki öğrenicilerden en etkili şekilde yararlanacak yöntemler geliştirmektir. Bu önemlidir, çünkü çok sayıda az-atışlı öğrenci eğitilmiştir; Bunların nasıl etkili bir şekilde kullanılacağı önemli bir sorudur. Özellikle, dağıtılması daha zor olan daha büyük modellere alternatifi seviyoruz.

‘Aynı zamanda, PLM’lerin güçlü yönlerinden tam olarak yararlanmak istiyoruz: çok yönlü işlevleri arasında geniş kapsamlı uyumluluk sağlamak; Dil ve dünya hakkında (önceki eğitimde öğrenilen) geniş bilgi birikimi, bazı öğrencilerin veri kapasitesine yansır ve veri açıklamalarında emek ve zaman tüketimini azaltır.

Yazarlar, bugüne kadar, NLP’deki bazı acemi öğrenicilerin, daha müreffeh yüksek seviyeli doğal dil sistemlerine giden yolda uygun maliyetli ara aşamalar olarak görüldüğünü ve bu tür çalışmaların kısa ve öz bir şekilde ve dikkate alınmadan gerçekleştirildiğini savunuyorlar. Bu sistemlerin olası kullanımı.

Yöntem

öğretmenlerin teklifi LMTürk (Language Model Mechanical Turk), bu otomatikleştirilmiş HIT’den girdi orta seviye NLP modeli için etiketler sağlayan bir iş akışı.

Bu ilk yineleme, etli hindilerin belirli sayıda görev için etiketleri hafife aldığı ve etiketlerin ya doğrudan insan gözetimi ya da oy birliği ile iyi puanlandığı, insan tarafından etiketlenmiş bazı “altın” verilere dayanmaktadır. Bu projenin anlamı, bu insan temelli başlangıç ​​noktasından yapılan şubelerin veya yükseltmelerin yolda ek insan girdisi gerektirmediğidir.

Yazarlar daha sonraki hibrit modellerle daha fazla deneyler önermelerine rağmen (insan girdisi olacaktır, ancak büyük ölçüde azaltılacaktır), araştırmalarının amaçları doğrultusunda, insan yapımı HIT çalışanlarının eşdeğer sonuçlarına karşı LMTurk modellerini durdurmadılar. Altın etiketli veriler ‘insan girdisidir’.

Türk fonksiyonlarını yerine getirmek için tasarlanan PLM, çalışmaya dönüştürüldü B-ayarBir zamanlar Çinli araştırmacılar tarafından 2021’de yayınlanan bir eğitim dizisidir. Anında gömme Doğal dil anlama (NLU) görevlerinde GPT-3 tarzı modellerin performansını iyileştirme.

P-Tuning, GPT tarzı modelin öngörücü gücünü ve gömülü sahte uyaranları dahil ederek kavramsal bir dil anlayışının ortaya çıkışını derinleştirmeyi amaçlar. Bu durumda ilk soru ‘Britanya’nın başkenti neresidir? [x]’. Kaynak: https://arxiv.org/pdf/2103.10385.pdf

Veri ve Mimari

LMTurk beş veri kümesinde derecelendirildi: iki Stanford Duygu Ağaç Bankası; AG Haber Derlemi; Metin içeriğini tanı (RTE); Ve dilsel olarak kabul edilebilir bütünce (Kola)

Daha büyük modeli için LMTurk, genel olarak mevcut PLM’leri kullanır ALBERT-XXLarge-v2 (AXLV2) Otomatik hindiye dönüştürmek için prototip. Modelde 223 milyon parametre var (aksine) 175 milyar parametre GPT-3’te). Yazarların belirttiğine göre AXLV2, 334M gibi üst düzey modelleri geride bırakabileceğini kanıtladı. Bert-büyük.

Daha çevik, hafif ve sıra dışı bir model için TinyBERT-General-4L-312D projesi (TBG), BERT tabanlı ile karşılaştırılabilir performansa sahip 14.5 milyon parametreye (110 milyon parametre dahil) sahiptir.

Anında etkinleştirilmiş eğitim, AXLV2 için PyTorch ve HuggingFace üzerinde, lineer bozulma kullanılarak, 5e-4 öğrenme hızında, 13 ciltte 100 cilt adımında gerçekleştirildi. Her deney üç farklı rastgele tohum verdi.

Sonuçlar

LMTurk projesi, NLP’nin birçok özel alt bölümünde çeşitli modeller üzerinde çalışırken, LMTurk’ün araştırmacıların deneylerine karmaşık bir yaklaşım ve insanlık tarihini yeniden kullanmaya yönelik potansiyel bir yaklaşım sağladığına dair ampirik kanıtları hafife almak kolay değildir. HIT tarzında bazı öğrenme sahneleri yarattı.

Ancak, değerlendirme amacıyla yazarlar yöntemlerini önceki iki çalışmayla karşılaştırırlar: Bazı Çekim Metin Sınıflandırması ve Doğal Dil Varsayımları İçin Yakın Soruları Kullanma Alman araştırmacılar Timo Schick ve Heinrich Schutz; ve sonuçlar Anlık tabanlı otomatik, Da yerleşmiş En iyi öğrencilerden bazılarıyla önceden eğitilmiş dil modelleri oluşturma Cao, Chen ve Fish tarafından (sırasıyla Princeton ve MIT’den).

LMTurk testlerinin sonuçları, araştırmacılar ‘karşılaştırılabilir’ performans bildiriyor.

Kısacası, LMTurk, altın etiketli insan yapımı verileri insan girdisi, ayakta ve orta karmaşık dil modelleri için otomatik sistemlere gömmek ve entegre etmek isteyen araştırmacılar için nispeten güvenilir bir kuyruk denemesi sağlar.

Bu alandaki nispeten küçük ölçekli önceki çalışmalarda olduğu gibi, temel kavram orijinal insan verilerinin değişkenliğine dayanır ve NLP gelişimine önemli engelleri temsil edebilecek geçici faktörler daha fazla insan müdahalesi gerektirmez. Makine yalnızca kalıtım üretir.

İlk olarak 30 Aralık 2022’de yayınlandı