Bilgi grafiği yerleştirme - Knowledge graph embedding

Bir bilgi grafiğinin yerleştirilmesi. Varlıkların ve ilişkilerin vektör temsili, farklı makine öğrenimi uygulamaları için kullanılabilir.

Olarak temsil öğrenme , bilgi grafiği gömme ( KGE ), ayrıca şu şekilde de ifade bilgi gösterimi öğrenme ( KRL ) ya da çoklu ilişki öğrenme , a, makina öğrenme bir düşük boyutlu bir temsilini öğrenme görev bilgisi grafik kurum ve ilişkiler sırasında s' anlamsal anlamlarını korumaktadır . Gömülü temsillerinden yararlanan bilgi grafikleri (KG'ler), bağlantı tahmini , üçlü sınıflandırma , varlık tanıma , kümeleme ve ilişki çıkarma gibi çeşitli uygulamalar için kullanılabilir .

Tanım

Bilgi grafiği , varlıkların , ilişkilerin ve gerçeklerin bir koleksiyonudur . Bir gerçektir üçlü olan bir bağlantı temsil eder, çünkü kafa arasındaki ve kuyruk üçlü arasında. Literatürde bir üçlüyü (veya gerçeği) temsil etmek için sıklıkla kullanılan başka bir gösterim . Bu gösterime kaynak tanımlama çerçevesi (RDF) denir. Bir bilgi grafiği, belirli bir alanla ilgili bilgiyi temsil eder; Bu yapılandırılmış temsilden yararlanarak, bazı iyileştirme adımlarından sonra ondan bir parça yeni bilgi çıkarmak mümkündür. Bununla birlikte, günümüzde insanlar, bunları gerçek dünyadaki bir uygulamada kullanmak için verilerin azlığı ve hesaplama verimsizliği ile uğraşmak zorundadır. ${\displaystyle {\mathcal {G}}=\{E,R,F\}}$${\görüntüleme stili E}$${\görüntüleme stili R}$${\görüntüleme stili F}$${\görüntüleme stili (s,r,t)\F}$${\görüntüleme stili r\içinde R}$${\ekran stili h\E}$${\ekran stili t\E}$${\displaystyle <kafa,ilişki,kuyruk>}$

Bir bilgi grafiğinin gömme işlemi, bir bilgi grafiğinin her bir varlığını ve ilişkisini, gömme boyutu adı verilen belirli bir boyutun vektörüne dönüştürür . Genel durumda, varlıklar ve ilişkiler için farklı gömme boyutlarına sahip olabiliriz . Bilgi grafiğindeki tüm varlıklar ve ilişkiler için gömme vektörlerinin toplanması, birçok farklı görev için daha kolay kullanılabilen alanın daha yoğun ve verimli bir temsilidir. ${\görüntüleme stili {\matematiksel {G}}}$${\görüntüleme stili d}$${\görüntüleme stili d}$${\görüntüleme stili k}$

Bir bilgi grafiği yerleştirme, dört farklı açıdan karakterize edilir:

1. Temsil uzayı: Varlıkların ve ilişkilerin temsil edildiği düşük boyutlu uzay.
2. Puanlama işlevi: Üçlü gömülü temsilin iyiliğinin bir ölçüsü.
3. Kodlama modelleri: Varlıkların ve ilişkilerin gömülü temsilinin birbiriyle etkileşime girdiği modalite.
4. Ek bilgi: Gömülü gösterimi zenginleştirebilecek bilgi grafiğinden gelen herhangi bir ek bilgi. Genellikle, her ek bilgi için genel puanlama işlevine özel bir puanlama işlevi entegre edilir.

gömme prosedürü

Tüm farklı bilgi grafiği gömme modelleri, olguların anlamsal anlamını öğrenmek için kabaca aynı prosedürü takip eder. Her şeyden önce, bir bilgi grafiğinin gömülü bir temsilini öğrenmek için, varlıkların ve ilişkilerin gömme vektörleri rastgele değerlere başlatılır. Ardından, bir eğitim setinden başlayarak bir durdurma koşuluna ulaşılana kadar algoritma, yerleştirmeleri sürekli olarak optimize eder. Genellikle, durma koşulu, eğitim seti üzerindeki fazla takma ile verilir . Her yineleme için, eğitim setinden bir boyutta bir yığın örneklenir ve yığının her üçlüsü için rastgele bir bozuk olgu örneklenir - yani bilgi grafiğinde gerçek bir olguyu temsil etmeyen bir üçlü. Bir üçlünün bozulması, üçlünün başını veya kuyruğunu (veya her ikisini) gerçeği yanlış yapan başka bir varlıkla değiştirmeyi içerir. Orijinal üçlü ve bozuk üçlü eğitim grubuna eklenir ve ardından yerleştirmeler güncellenerek bir puanlama işlevi optimize edilir. Algoritmanın sonunda, öğrenilen yerleştirmeler, üçlülerden anlamsal anlamı çıkarmış olmalı ve bilgi grafiğinde görünmeyen gerçekleri doğru bir şekilde göstermelidir. ${\görüntüleme stili b}$

sözde kod

Aşağıdaki, genel gömme prosedürü için sözde koddur.

algorithm Compute entity and relation embeddings is
    input: The training set ${\displaystyle S=\{(h,r,t)\}}$, 
           entity set ${\displaystyle E}$, 
           relation set ${\displaystyle R}$,     
           embedding dimension ${\displaystyle k}$
    output: Entity and relation embeddings

    initialization: the entities ${\displaystyle e}$ and relations ${\displaystyle r}$ embeddings (vectors) are randomly initialized

    while stop condition do
        ${\displaystyle S_{batch}\leftarrow sample(S,b)}$ // From the training set randomly sample a batch of size b
        for each ${\displaystyle (h,r,t)}$ in ${\displaystyle S_{batch}}$ do
            ${\displaystyle (h',r,t')\leftarrow sample(S')}$  // sample a corrupted fact or triple
            ${\displaystyle T_{batch}\leftarrow T_{batch}\cup \{((h,r,t),(h',r,t'))\}}$ 
        end for
        Update embeddings by minimizing the loss function
    end while

Performans göstergeleri

Bu indeksler genellikle bir modelin gömme kalitesini ölçmek için kullanılır. İndekslerin basitliği, onları büyük ölçekte bile bir gömme algoritmasının performansını değerlendirmek için çok uygun kılar. Bir modelin tüm sıralanmış tahminlerinin kümesi olarak verildiğinde , üç farklı performans indeksi tanımlamak mümkündür: Hits@K, MR ve MRR. ${\ Displaystyle {\ce {Q}}}$

Hits@K

Hits@K veya kısaca H@K, ilk üst K model tahminlerinde doğru tahmini bulma olasılığını ölçen bir performans indeksidir. Genellikle kullanılır . Hits@K, verilen iki üçlü arasındaki ilişkiyi doğru bir şekilde tahmin etmek için bir gömme modelinin doğruluğunu yansıtır. ${\görüntüleme stili k=10}$

Hits@K${\displaystyle ={\frac {|\{q\in Q:q<k\}|}{|Q|}}\in [0,1]}$

Daha büyük değerler, daha iyi tahmin performansları anlamına gelir.

Ortalama sıra (MR)

Ortalama sıralama, model tarafından tahmin edilen öğelerin tüm olası öğeler arasında ortalama sıralama konumudur.

${\displaystyle MR={\frac {1}{|Q|}}\sum _{q\in Q}{q}}$

Değer ne kadar küçük olursa model o kadar iyi olur.

Ortalama karşılıklı sıra (MRR)

Ortalama karşılıklı sıralama, doğru tahmin edilen üçlülerin sayısını ölçer. İlk tahmin edilen üçlü doğruysa, o zaman 1 eklenir, ikincisi doğruysa toplanır, vb. ${\displaystyle {\frac {1}{2}}}$

Ortalama karşılıklı sıralama genellikle arama algoritmalarının etkisini ölçmek için kullanılır.

${\displaystyle MRR={\frac {1}{|Q|}}\sum _{q\in Q}{\frac {1}{q}}\in [0,1]}$

İndeks ne kadar büyük olursa, model o kadar iyi olur.

Uygulamalar

Makine öğrenimi görevleri

Bilgi grafiği tamamlama (KGC), gömülü bir bilgi grafiği temsilinden bilgi çıkarmaya yönelik tekniklerin bir koleksiyonudur. Özellikle, bu teknik, eksik varlık veya ilişkiyi çıkarsayan bir üçlüyü tamamlar. Karşılık gelen alt görevler, bağlantı veya varlık tahmini (yani, üçlünün ve ilişkinin diğer varlığı verilen yerleştirmeden bir varlığı tahmin etme) ve ilişki tahmini (yani, iki varlığı birbirine bağlayan en makul ilişkiyi tahmin etme) olarak adlandırılır.

Üçlü Sınıflandırma bir ikili sınıflandırma problemidir. Bir üçlü verildiğinde, eğitilmiş model, üçlünün doğru mu yanlış mı olduğunu belirlemek için yerleştirmeyi kullanarak üçlünün akla yatkınlığını değerlendirir. Karar, model skor fonksiyonu ve verilen bir eşik ile verilir. Kümeleme, 2B alanda yakın benzer anlamsal varlıkların temsilini yoğunlaştırmak için seyrek bilgi grafiğinin gömülü temsilinden yararlanan başka bir uygulamadır.

Gerçek kelime uygulamaları

Bilgi grafiği yerleştirmenin kullanımı, birçok uygulamada giderek yaygınlaşmaktadır. Tavsiye sistemleri söz konusu olduğunda, bilgi grafiği yerleştirmenin kullanılması, olağan güçlendirilmiş öğrenmenin sınırlamalarının üstesinden gelebilir . Bu tür bir tavsiye sistemini eğitmek, kullanıcılardan büyük miktarda bilgi gerektirir; bununla birlikte, bilgi grafiği teknikleri, madde korelasyonuna ilişkin önceden edinilmiş bir bilgi üzerine halihazırda oluşturulmuş bir grafiği kullanarak ve bundan öneri çıkarmak için yerleştirmeyi kullanarak bu sorunu ele alabilir. İlaç yeniden kullanım, halihazırda onaylanmış bir ilacın, ancak başlangıçta tasarlandığından farklı bir terapötik amaç için kullanılmasıdır. Büyük literatür ve biyomedikal veritabanlarının mevcudiyetinden yararlanarak oluşturulmuş bir biyomedikal bilgi grafiğini kullanarak, halihazırda var olan bir ilaç ile bir hastalık arasında yeni bir bağlantı çıkarmak için bağlantı tahmini görevini kullanmak mümkündür. Bilgi grafiği yerleştirme, sosyal politika alanında da kullanılabilir.

Modeller

Bazı bilgi grafiği gömme modellerinin yayın zaman çizelgesi. Kırmızı renkte tensör ayrıştırma modelleri, mavi renkte geometrik modeller ve yeşil renkte derin öğrenme modelleri. RESCAL (2011) ilk modern KGE yaklaşımıydı. İçinde YAGO bilgi grafiğine uygulandı. Bu, KGE'nin büyük ölçekli bir bilgi grafiğine ilk uygulamasıydı.

Bir üçlüler (veya olgular) koleksiyonu verildiğinde , bilgi grafiği gömme modeli, bilgi grafiğinde bulunan her varlık ve ilişki için sürekli bir vektör temsili üretir. gelen bir üçlü içine konulmaları ve nerede, varlıklar için gömme boyuttur ve ilişkiler için. Belirli bir modelin puan fonksiyonu ile belirtilir ve ilişkinin gömülmesi verilen başın gömülmesinin kuyruğun gömülmesine olan mesafesini ölçer veya başka bir deyişle, belirli bir olgunun gömülü temsilinin makullüğünü ölçer. ${\displaystyle {\mathcal {F}}=\{<kafa,ilişki,kuyruk>\}}$${\görüntüleme stili (s,r,t)}$${\displaystyle h,t\in {\rm {I\!R}}^{d}}$${\displaystyle r\in {\rm {I\!R}}^{k}}$${\görüntüleme stili d}$${\görüntüleme stili k}$${\displaystyle {\mathcal {f}}_{r}(h,t)}$

Rossi et al. gömme modellerinin bir sınıflandırmasını önerir ve üç ana model ailesini tanımlar: tensör ayrıştırma modelleri, geometrik modeller ve derin öğrenme modelleri.

Tensör ayrıştırma modeli

Tensör ayrıştırması, bir bilgi grafiğini temsil etmek için çok boyutlu bir matris kullanan ve belirli bir alanı tamamen açıklayan bilgi grafiğindeki boşluklar nedeniyle kısmen bilinebilen modelleri içine alan bir bilgi grafiği ailesidir. Özellikle, bu modeller üç yollu (3B) bir tensör kullanır , bu daha sonra varlıklar ve ilişkiler gömmeleri olan düşük boyutlu vektörlere çarpanlara ayrılır. Üçüncü dereceden tensör, bir bilgi grafiğini temsil etmek için uygun bir metodolojidir, çünkü yalnızca varlıklar arasındaki ilişkinin varlığını veya yokluğunu kaydeder ve bu nedenle basittir ve ağ yapısını önceden bilmeye gerek yoktur. bu gömme modelleri sınıfı hafiftir ve yüksek boyutlu ve seyrek veriden muzdarip olsalar bile eğitilmesi kolaydır.

çift ​​doğrusal modeller

Bu model ailesi, varlıklar arasındaki bağlantıyı bir ilişki aracılığıyla gömmek için doğrusal bir denklem kullanır. Özellikle, ilişkilerin gömülü temsili iki boyutlu bir matristir. Bu modeller, gömme prosedürü sırasında, gömülü temsili hesaplamak için yalnızca tekil olguları kullanır ve aynı varlık veya ilişkiyle ilgili diğer ilişkileri yok sayar.

• DistMult : İlişkinin gömme matrisi köşegen bir matris olduğundan, puanlama işlevi asimetrik gerçekleri ayırt edemez.
• Karmaşık : DistMult, gömme ilişkileri temsil etmek için bir diyagonal matris kullandığından, ancak karmaşık vektör uzayına ve hermit çarpımına bir temsil eklediğinden , simetrik ve asimetrik gerçekleri ayırt edebilir. Bu yaklaşım, zaman ve yer maliyeti açısından büyük bir bilgi grafiğine ölçeklenebilir.
• ANALOGY : Bu model, tümevarımsal akıl yürütmeyi simüle etmek için bilgi grafiğinin analojik yapısının gömülmesini kodlar . Türevlenebilir bir amaç fonksiyonu kullanan ANALOGY, iyi bir teorik genelliğe ve hesaplamalı ölçeklenebilirliğe sahiptir. ANALOGY tarafından üretilen gömmenin DistMul, ComplEx ve HolE gömmesini tamamen kurtardığı kanıtlanmıştır.
• BASİT : Bu model, bilgi grafiği olgusunda bir baş mı yoksa bir kuyruk mu olduğuna bağlı olarak, ilişki için bir gömme vektörünün ve her varlık için iki bağımsız gömme vektörünün öğrenildiği kanonik poliadik ayrıştırmanın (CPD) geliştirilmiş halidir . SimplE, ters bir ilişki kullanarak iki varlık yerleştirmesinin bağımsız olarak öğrenilmesi sorununu çözer ve CPD puanının ortalamasını ve . Böylece Simple, bir olgu içinde özne veya nesne rolünde görünen varlıklar arasındaki ilişkiyi toplar ve asimetrik ilişkileri gömebilir.${\görüntüleme stili (s,r,t)}$${\görüntüleme stili (t,r^{-1},h)}$

Doğrusal olmayan modeller

• HolE: HolE, bilgi grafiğinin gömülü bir temsilini oluşturmak için dairesel korelasyon kullanır; bu, matris ürününün sıkıştırılması olarak görülebilir, ancak dairesel korelasyon değişmeli olmadığı için asimetrik ilişkiyi ifade etme yeteneklerini korurken hesaplama açısından daha verimli ve ölçeklenebilirdir. . HolE, holografik ve karmaşık yerleştirmeleri birbirine bağlar, çünkü Fourier ile birlikte kullanıldığında , ComplEx'in özel bir durumu olarak görülebilir.
• TuckER: TuckER, bilgi grafiğini, paylaşılan bir çekirdek ile bir vektörler koleksiyonunda (yani varlıkların ve ilişkilerin gömülmesi) Tucker ayrıştırması kullanılarak ayrıştırılabilen bir tensör olarak görür . Çekirdek tensörün ağırlıkları, gömmelerle birlikte öğrenilir ve girişlerin etkileşim seviyesini temsil eder. Her varlık ve ilişkinin kendi gömme boyutu vardır ve çekirdek tensörün boyutu, etkileşimde bulunan varlıkların ve ilişkilerin şekli tarafından belirlenir. Bir olgunun öznesinin ve nesnesinin gömülmesi aynı şekilde toplanır, bu da TuckER'ı tamamen ifade eder ve RESCAL , DistMult, ComplEx ve SimplE gibi diğer gömme modelleri TuckER'ın özel bir formülasyonu olarak ifade edilebilir.

Geometrik modeller

Bu model ailesi tarafından tanımlanan geometrik uzay, ilişkiyi bir olgunun başı ve kuyruğu arasındaki geometrik bir dönüşüm olarak kodlar. Bu nedenle, kuyruğun gömülmesini hesaplamak için, baş gömülmesine bir dönüşüm uygulamak gerekir ve gömülmenin iyiliğini ölçmek veya bir gerçeğin güvenilirliğini puanlamak için bir mesafe fonksiyonu kullanılır. ${\görüntüleme stili\tau }$${\görüntüleme stili \delta }$

${\displaystyle {\mathcal {f}}_{r}(h,t)=\delta (\tau (h,r),t)}$

Geometrik modeller, tensör ayrıştırma modeline benzer, ancak ikisi arasındaki temel fark, dönüşümün tanımlandığı geometrik uzayda uygulanabilirliğini korumak zorunda olmalarıdır . ${\görüntüleme stili\tau }$

Saf öteleme modelleri

Bu model sınıfı, word2vec'te tanıtılan çeviri değişmezliği fikrinden esinlenmiştir . Saf öteleme modeli, tanımlandıkları geometrik uzayda uygun bir ilişkisel öteleme uygulandıktan sonra varlıkların gömme vektörünün birbirine yakın olduğu gerçeğine dayanır. Başka bir deyişle, bir gerçek göz önüne alındığında, ilişkinin gömülmesine kafanın gömülmesi eklendiğinde, beklenen sonuç kuyruğun gömülmesi olmalıdır. Gömülü varlıkların yakınlığı, bazı uzaklık ölçüleriyle verilir ve bir olgunun güvenilirliğini ölçer.

TransE gömme modeli. Başın vektör temsili (gömme) artı ilişkinin vektör temsili, kuyruk varlığının vektör temsiline eşit olmalıdır.

• TransE : Bu model, gömmeleri, göründükleri her olguda basit bir vektör toplamı denklemini sağlamaya zorlayan bir puanlama işlevi kullanır : . Gömme, her varlık ve ilişki yalnızca bir olguda görünüyorsa kesin olacaktır ve bu nedenle pratikte bire çok , çoktan bire ve asimetrik ilişkileri iyi temsil etmemektedir .${\görüntüleme stili h+r=t}$
• TransH : İlişki türlerini doğru bir şekilde temsil etme problemini çözmek için bir hiperdüzlemi geometrik uzay olarak sunan TransE'nin bir evrimidir . TransH'de her ilişkinin, hangi varlıklarla etkileşime girdiğine bağlı olarak farklı bir hiper düzlemde farklı bir gömülü temsili vardır. Bu nedenle, örneğin bir olgunun puan fonksiyonunu hesaplamak için, baş ve kuyruğun gömülü temsilinin, ilişkinin doğru hiper düzlemi üzerinde bir ilişkisel izdüşüm matrisi kullanılarak yansıtılması gerekir.
• TransR : TransR, TransH'nin bir evrimidir çünkü varlıkların ve ilişkilerin gömülü temsilini temsil etmek için iki farklı alan kullanır ve varlıkların ve ilişkilerin anlamsal alanını tamamen ayırır. Ayrıca TransR, varlıkların gömülmesini ilişki alanına çevirmek için bir ilişkisel izdüşüm matrisi kullanır.
• TransD : Bir göz önüne alındığında, TransR, baş ve bir gerçeğin kuyruk olabilir örneğin, aslında, varlıkların iki farklı türde aittir , Obama ve ABD iki varlıklardır ama bir kişidir ve diğer bir ülkedir . Matris çarpımı ayrıca, projeksiyonu hesaplamak için TransR'de pahalı bir prosedürdür. Bu bağlamda, TransD, boyutsal karmaşıklığı azaltırken projeksiyon matrisinin yerini alan dinamik bir eşlemeyi hesaplamak için her varlık-ilişki çifti için iki vektör kullanır. İlk vektör, varlıkların ve ilişkilerin anlamsal anlamını temsil etmek için kullanılır, ikincisi ise eşleme matrisini hesaplamak için kullanılır.${\displaystyle (Obama,başkan\_of,ABD)}$
• TransA: Tüm öteleme modelleri, temsil uzaylarında bir puan işlevi tanımlar, ancak bu metrik kaybını aşırı basitleştirirler. Varlıkların ve ilişkilerin vektör temsili mükemmel olmadığından, saf bir öteleme ' den uzak olabilir ve küresel bir eşpotansiyel Öklid uzaklığı hangisinin en yakın varlık olduğunu ayırt etmeyi zorlaştırır. Bunun yerine TransA, belirsizliği ortadan kaldırmak için eliptik yüzeylerle birlikte gömme boyutlarının ağırlıklarına uyarlanabilir bir Mahalanobis mesafesi sunar .${\görüntüleme stili h+r}$${\görüntüleme stili t}$

Ek gömmelere sahip çeviri modelleri

Bilgi grafiğindeki her bir öğeyle ve bunların ortak temsil gerçekleriyle ek bilgiler ilişkilendirmek mümkündür. Her varlık ve ilişki, bir bilgi grafiği ile alanın genel tanımını geliştirmek için metin açıklamaları, ağırlıklar, kısıtlamalar ve diğerleri ile zenginleştirilebilir. Bilgi grafiğinin yerleştirilmesi sırasında, bu bilgiler, daha önemli sayıda vektör öğrenme maliyetiyle birlikte varlıkların ve ilişkilerin olağan gömülü temsili ile birlikte bu özellikler için özel yerleştirmeleri öğrenmek için kullanılabilir.

• STransE: Bu model daha iyi bire birçok bire birden çok ve temsil edebilir Transe ve bu şekilde gömülmesi yapının kombinasyonu sonucudur birçok çoğa ilişkileri. Bunu yapmak için model, iki ek bağımsız matris ve KG'deki her gömülü ilişki için içerir . Her ek matris, belirli ilişkinin gerçeğin başı veya kuyruğu ile etkileşime girdiği gerçeğine dayalı olarak kullanılır. Başka bir deyişle, bir olgu verildiğinde , vektör çevirisini uygulamadan önce, baş ile , kuyruk ile çarpılır .${\ Displaystyle W_{r}^{h}}$${\displaystyle W_{r}^{t}}$${\görüntüleme stili r}$${\görüntüleme stili (s,r,t)}$${\görüntüleme stili h}$${\ Displaystyle W_{r}^{h}}$${\displaystyle W_{r}^{t}}$
• CrossE : Çapraz etkileşimler ilgili bilgi seçimi için kullanılabilir ve gömme prosedürü için çok faydalı olabilir. Çapraz etkileşimler, bilgi seçiminde iki farklı katkı sağlar: ilişkilerden varlıklara etkileşimler ve varlıklardan ilişkilere olan etkileşimler. Bu, bir ilişkinin, örneğin 'başkan_of', özneyi bir olgunun nesnesine bağlayan varlık türlerini otomatik olarak seçtiği anlamına gelir. Benzer şekilde, bir olgunun varlığı, ilişkili bir üçlünün nesnesini tahmin etmek için seçilmesi gereken çıkarım yolunun hangisi olduğunu dolaylı olarak belirler. CrossE bunu yapmak için ek bir etkileşim matrisi öğrenir , ve arasındaki etkileşimi hesaplamak için eleman bazında ürünü kullanır . CrossE, bir sinir ağı mimarisine dayanmasa bile, bu metodolojinin böyle bir mimaride kodlanabileceği gösterilmiştir.${\görüntüleme stili C}$${\görüntüleme stili h}$${\görüntüleme stili r}$

Roto-çeviri modelleri

Bu model ailesi, bir çeviriye ek olarak veya bir çevirinin yerine geçerek, döndürme benzeri bir dönüşüm kullanırlar.

• TorusE: TransE'nin düzenlileştirme terimi, varlığın küresel bir uzay inşa etmek için gömülmesini sağlar ve sonuç olarak geometrik uzayın öteleme özelliklerini kaybeder. Bu sorunu çözmek için TorusE , bu özel durumda n-boyutlu simit uzayı olan kompakt bir Lie grubunun kullanımından yararlanır ve düzenlileştirme kullanımından kaçınır. TorusE, TransE'nin L1 ve L2 normunun yerini alacak mesafe fonksiyonlarını tanımlar.
• Döndürün: esinlenerek Euler kimliği ve kullanımını içerir Hadmard ürün bir ilişki temsil etmek üzere kafa bir dönme hareketi olarak kuyruk kompleks boşlukta yayılabilir. Üçlünün her bir elemanı için, gömmenin karmaşık kısmı, Euler özdeşliği ile tanımlanabilen bir eksene göre saat yönünün tersine bir dönüşü tanımlar, oysa ilişki vektörünün modülü 1'dir. bilgi grafiğinden simetrik, asimetrik, ters çevirme ve bileşim ilişkilerini yerleştirme.${\görüntüleme stili r}$${\görüntüleme stili h}$${\görüntüleme stili t}$

Derin öğrenme modelleri

Bu gömme modelleri grubu , girdi verileri olan bilgi grafiğinden kalıpları öğrenmek için derin sinir ağını kullanır . Bu modeller, varlık ve ilişki tipini, zamansal bilgiyi, yol bilgisini, altta yatan yapılandırılmış bilgiyi ayırt etme ve bir bilgi grafiğinin tüm özelliklerini temsil etmede mesafe tabanlı ve anlamsal eşleştirme tabanlı modellerin sınırlamalarını çözme genelliğine sahiptir. Bilgi grafiği gömmek için derin öğrenmenin kullanımı, eğitim aşamasında daha pahalı olsalar, verilere kızgın olsalar ve genellikle farklı bir gömme modelinden gelen bilgi grafiğinin önceden eğitilmiş bir gömme temsilini gerektirseler bile iyi bir tahmin performansı göstermiştir.

Evrişimli sinir ağları

Bu model ailesi, tamamen bağlı katmanlar kullanmak yerine, doğrusal olmayan özellikleri öğrenerek karmaşık yapıları birkaç parametreyle gömebilen düşük boyutlu bir filtre uygulayarak girdi verilerini saran bir veya daha fazla evrişimli katman kullanır .

• ConvE: ConvE, derin öğrenme modellerinin iyi bir değiş tokuş ifadesini ve hesaplama pahalılığını temsil eden bir gömme modelidir, aslında DistMult ile karşılaştırıldığında 8 kat daha az parametre kullandığı gösterilmiştir. ConvE , bir bilgi grafiğinin varlıklarını ve ilişkilerini temsil etmek için tek boyutlu boyutlu bir yerleştirme kullanır . Bir üçlünün puan fonksiyonunu hesaplamak için, ConvE basit bir prosedür uygular: ilk önce üçlünün başının gömülmesini ve tek bir verideki ilişkiyi birleştirir ve birleştirir , daha sonra bu matris 2B evrişim katmanı için girdi olarak kullanılır. Sonuç daha sonra matris tarafından parametrelendirilen doğrusal bir dönüşüm uygulayan yoğun bir katmandan geçirilir ve sonunda iç çarpım kuyruk üçlüsüne bağlanır. ConvE, değerlendirme prosedüründe de özellikle etkilidir: 1-N puanlaması kullanarak, bir kafa ve bir ilişki verilen model eşleşir, aynı anda tüm kuyruklar, 1-1 değerlendirmesine kıyasla çok fazla değerlendirme süresi kazandırır. Diğer modellerin programı.${\görüntüleme stili d}$${\displaystyle {\ce {[h;{\mathcal {r}}]}}}$${\görüntüleme stili {\matematiksel {W}}}$
• ConvR: ConvR, varlıklar ve ilişkiler arasındaki tüm olası etkileşimleri derinlemesine temsil etmeyi amaçlayan uyarlanabilir bir evrişimsel ağdır. Bu görev için ConvR, her ilişki için evrişim filtresini hesaplar ve gerektiğinde, kıvrımlı özellikleri çıkarmak için bu filtreleri ilgilenilen varlığa uygular. Üçlü skoru hesaplama prosedürü ConvE ile aynıdır.
• ConvKB: ConvKB, belirli bir üçlünün puan fonksiyonunu hesaplamak için, yeniden şekillendirmeden bir boyut girdisi üretir ve bunu bir dizi evrişim filtresine iletir . Bu sonuç, son puanı üreten tek bir nöronla yoğun bir katmanı besler. Tek son nöron, bu mimariyi, gerçeğin doğru veya yanlış olabileceği bir ikili sınıflandırıcı olarak yapar. ConvE ile olan bir fark, varlıkların boyutsallığının değiştirilmemesidir.${\görüntüleme stili (s,r,t)}$${\displaystyle {\ce {[h;{\mathcal {r}};t]}}}$${\displaystyle d\times 3}$${\görüntüleme stili 1\times 3}$

Kapsül sinir ağları

Bu model ailesi, uzamsal bilgiyi kaybetmeden girdideki bir özelliği tanıyabilen daha kararlı bir temsil oluşturmak için kapsül sinir ağlarını kullanır . Ağ, evrişimli katmanlardan oluşur, ancak bunlar kapsüller halinde düzenlenir ve bir kapsülün genel sonucu, dinamik bir işlem rutini tarafından kararlaştırılan daha yüksek bir kapsüle gönderilir.

• CapsE: CapsE, bir gerçeği modellemek için bir kapsül ağı uygular . ConvKB'de olduğu gibi, her üçlü eleman bir matris oluşturmak için birleştirilir ve evrişimsel özellikleri çıkarmak için bir evrişim katmanına beslemek için kullanılır. Bu özellikler daha sonra sürekli bir vektör üretmek için bir kapsüle yönlendirilir, vektör ne kadar uzunsa, gerçek o kadar doğrudur.${\görüntüleme stili (s,r,t)}$${\displaystyle {\ce {[h;{\mathcal {r}};t]}}}$

Tekrarlayan sinir ağları

Bu model sınıfı, tekrarlayan sinir ağının kullanımından yararlanır . Bu mimarinin avantajı, yalnızca tekil olayları ayrıntılı olarak düzenlemek yerine, bir dizi gerçeği ezberlemektir.

• RSN: Gömme prosedürü sırasında genellikle benzer varlıkların benzer ilişkilere sahip olduğu varsayılır. Uygulamada, bu tür bilgilerden yararlanılmaz, çünkü gömme, gerçeklerin geçmişinden ziyade sadece meydana gelen gerçek üzerinde hesaplanır. Tekrarlayan atlama ağları (RSN), bir rastgele yürüyüş örneklemesi kullanarak ilişkisel yolu öğrenmek için tekrarlayan bir sinir ağı kullanır.

Model performansı

Modellerin yerleştirme doğruluğunu değerlendirmek için daha sık kullanılan bilgi grafiği yerleştirme için makine öğrenimi görevi bağlantı tahminidir. Rossi et al. modellerin kapsamlı bir kıyaslamasını üretti, ancak diğer anketler de benzer sonuçlar veriyor. Kriter beş veri setlerini FB15k, WN18, FB15k-237, WN18RR ve YAGO3-10 içerir. Daha yakın zamanlarda, bu veri kümelerinin gerçek dünya uygulamalarından çok uzak olduğu ve diğer veri kümelerinin standart bir kıyaslama olarak entegre edilmesi gerektiği tartışıldı.

Rossi ve arkadaşlarına göre bilgi grafiği gömme modellerinin bellek karmaşıklığının ve bağlantı tahmin doğruluğunun tablo özeti. Hits@10, MR ve MRR açısından. Her veri kümesi için daha iyi tahmin Hits@10 puanı kalın harflerle yazılmıştır.

Model adı	bellek karmaşıklığı	FB15K (İsabet @10)	FB15K (MR)	FB15K (MRR)	FB15K - 237 (İsabet@10)	FB15K - 237 (MR)	FB15K - 237 (MRR)	WN18 (İsabet @10)	WN18 (MR)	WN18 (MRR)	WN18RR (İsabet @10)	WN18RR (MR)	WN18RR (MRR)	YAGO3-10 (İsabet@10)	YAGO3-10 (MR)	YAGO3-10 (MRR)
DistMul	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.863	173	0.784	0.490	199	0,313	0.946	675	0.824	0.502	5913	0.433	0.661	1107	0.501
Kompleksi	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.905	34	0.848	0.529	202	0,349	0.955	3623	0.949	0.521	4907	0.458	0.703	1112	0,576
ANALOJİ	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k^{2})(d=k)}$	0.837	126	0.726	0.353	476	0.202	0.944	808	0.934	0.380	9266	0,366	0.456	2423	0.283
Basit	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.836	138	0.726	0.343	651	0.179	0.945	759	0.938	0.426	8764	0,398	0.631	2849	0.453
Delik	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.867	211	0.800	0,476	186	0.303	0.949	650	0.938	0.487	8401	0.432	0.651	6489	0.502
Tucker	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.888	39	0.788	0.536	162	0.352	0.958	510	0.951	0,514	6239	0.459	0.680	2417	0.544
TransE	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.847	45	0.628	0,497	209	0,310	0.948	279	0.646	0,495	3936	0.206	0.673	1187	0.501
STransE	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k^{2})(d=k)}$	0.796	69	0,543	0,495	357	0,315	0.934	208	0.656	0.422	5172	0.226	0.073	5797	0.049
çapraz	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.862	136	0.702	0.470	227	0.298	0,950	441	0.834	0.449	5212	0.405	0.654	3839	0.446
TorusE	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.839	143	0.746	0.447	211	0.281	0.954	525	0.947	0.535	4873	0.463	0.474	19455	0.342
Döndür	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.881	42	0.791	0.522	178	0,336	0.960	274	0.949	0.573	3318	0,475	0.570	1827	0.498
DÖNŞ.	${\displaystyle {\mathcal {O}}(N_{e}d^{2}+N_{r}k^{2})}$	0.849	51	0.688	0.521	281	0.305	0.956	413	0.945	0.507	4944	0.427	0.657	2429	0.488
DönşKB	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.408	324	0.211	0,517	309	0.230	0.948	202	0.709	0.525	3429	0.249	0.604	1683	0.420
Dönş.R	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.885	70	0.773	0.526	251	0,346	0.958	471	0,950	0.526	5646	0.467	0.673	2582	0.527
büyük harf	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.217	610	0.087	0.356	405	0.160	0,950	233	0.890	0.559	720	0.415	0	60676	0.000
RSN	${\displaystyle {\mathcal {O}}(N_{e}d+N_{r}k)(d=k)}$	0.870	51	0.777	0.444	248	0,280	0.951	346	0.928	0.483	4210	0,395	0.664	1339	0.511

Kütüphaneler

• KGE üzerinde GitHub'dan
• Pykg2vec üzerinde GitHub'dan
• DGL-KE üzerinde GitHub'dan
• PyKEEN üzerinde GitHub'dan
• TorchKGE üzerinde GitHub'dan
• AmpliGraph üzerinde GitHub'dan
• OpenKE üzerinde GitHub'dan
• scikit-KGE üzerinde GitHub'dan
• Hızlı TransX üzerinde GitHub'dan

Ayrıca bakınız

• Bilgi grafiği
• gömme
• Makine öğrenme
• Bilgi tabanı
• Bilgi çıkarma
• İstatistiksel ilişkisel öğrenme
• Temsil öğrenme
• Grafik yerleştirme

Referanslar

Dış bağlantılar

Scholia , Bilgi grafiği yerleştirme için bir konu profiline sahiptir .

• Açık Grafik Karşılaştırması - Stanford
• WordNet - Princeton