Evrensel karma - Universal hashing

Gelen matematik ve işlem , genel karma (a randomize algoritma veya veri yapısı) bir seçimi ile ilgilidir hash fonksiyonu belirli bir matematik özelliği olan karma bir fonksiyon ailenin rastgele (tanım için aşağıya bakınız). Bu , veriler bir rakip tarafından seçilse bile , beklentide düşük sayıda çarpışmayı garanti eder . Pek çok evrensel aile bilinmektedir (tamsayıları, vektörleri, dizileri toplamak için) ve bunların değerlendirilmesi genellikle çok verimlidir. Evrensel karma, bilgisayar biliminde, örneğin karma tabloların , rastgele algoritmaların ve kriptografinin uygulanmasında sayısız kullanıma sahiptir .

Giriş

Bazı evrenden anahtarlarını eşlemek istediğiniz varsayalım içine kutuları (etiketli ). Algoritma bazı veri kümesi işlemek zorunda kalacak arasında önceden bilinmemektedir tuşları. Genellikle, karma işlemin amacı, düşük sayıda çarpışma elde etmektir ( aynı bölmedeki o karadan gelen anahtarlar ). Deterministik bir karma işlevi, boyutu ' den büyükse , rakip bir ortamda herhangi bir garanti sunamaz , çünkü rakip tam olarak bir çöp kutusunun ön görüntüsü olmayı seçebilir . Bu, tüm veri anahtarlarının aynı çöp kutusuna düştüğü ve karma işlemini işe yaramaz hale getirdiği anlamına gelir. Ayrıca, deterministik bir hash fonksiyonu yeniden hashlemeye izin vermez : bazen girdi verileri hash fonksiyonu için kötü olur (örneğin, çok fazla çarpışma vardır), bu nedenle hash fonksiyonunu değiştirmek isteyebilirsiniz. ${\görüntüleme stili U}$${\görüntüleme stili m}$${\displaystyle [m]=\{0,\dots ,m-1\}}$${\ Displaystyle S\subseteq U}$${\görüntüleme stili |S|=n}$${\görüntüleme stili S}$${\görüntüleme stili U}$${\displaystyle m\cdot n}$${\görüntüleme stili S}$

Bu problemlerin çözümü, bir özet fonksiyon ailesinden rastgele bir fonksiyon seçmektir. Bir işlev ailesine, eğer, evrensel aile denir . ${\displaystyle H=\{h:U\to [m]\}}$${\displaystyle \forall x,y\U,~x\neq y:~~\Pr _{h\in H}[h(x)=h(y)]\leq {\frac {1}{m }}}$

Başka bir deyişle, evrenin herhangi iki anahtarı, en fazla , hash fonksiyonu rastgele çekildiğinde olasılık ile çarpışır . Bu tam olarak, eğer hash fonksiyonu her anahtara gerçekten rastgele hash kodları atasaydı, bekleyeceğimiz çarpışma olasılığıdır. Bazen tanım, çarpışma olasılığına izin verecek şekilde gevşetilir . Bu kavram, 1977'de Carter ve Wegman tarafından tanıtıldı ve bilgisayar biliminde çok sayıda uygulama buldu (örneğin bkz. Çarpışma olasılığının bir üst sınırına sahipsek , neredeyse evrenselliğe sahip olduğumuzu söyleriz . ${\görüntüleme stili 1/m}$${\görüntüleme stili h}$${\görüntüleme stili H}$${\görüntüleme stili O(1/m)}$${\displaystyle \epsilon <1}$${\görüntüleme stili \epsilon }$

Hepsi olmasa da çoğu evrensel aile aşağıdaki daha güçlü tek biçimli fark özelliğine sahiptir :

${\displaystyle \için tüm x,y\U,~x\neq y}$Zaman aileden rasgele çekilir , fark eşit dağıtılır .${\görüntüleme stili h}$${\görüntüleme stili H}$${\displaystyle h(x)-h(y)~{\bmod {~}}m}$${\görüntüleme stili [m]}$

Evrensellik tanımının yalnızca çarpışmaları sayan olup olmadığına ilişkin olduğuna dikkat edin . Tekdüze fark özelliği daha güçlüdür. ${\görüntüleme stili h(x)-h(y)=0}$

(Benzer şekilde, bir evrensel aile XOR evrensel olabilir , eğer değer , bit düzeyinde dışlayıcı veya işlemin olduğu yerde düzgün bir şekilde dağıtılır . Bu, yalnızca ikinin kuvveti olduğunda mümkündür .) ${\displaystyle \için tüm x,y\U,~x\neq y}$${\displaystyle h(x)\oplus h(y)~{\bmod {~}}m}$${\görüntüleme stili [m]}$${\görüntüleme stili\oplus }$${\görüntüleme stili m}$

Daha da güçlü bir koşul, ikili bağımsızlıktır : Herhangi bir karma değer çiftine hash olma olasılığımız tamamen rastgeleymiş gibi olduğunda bu özelliğe sahibiz : . İkili bağımsızlığa bazen güçlü evrensellik denir. ${\displaystyle \için tüm x,y\U,~x\neq y}$${\görüntüleme stili x,y}$${\displaystyle z_{1},z_{2}}$${\displaystyle P(h(x)=z_{1}\land h(y)=z_{2})=1/m^{2}}$

Diğer bir özellik ise tekdüzeliktir. Tüm hash değerleri eşit derecede olasıysa, bir ailenin tek tip olduğunu söylüyoruz: herhangi bir hash değeri için . Evrensellik tekdüzelik anlamına gelmez. Bununla birlikte, güçlü evrensellik tekdüzelik anlamına gelir. ${\görüntüleme stili P(h(x)=z)=1/m}$${\görüntüleme stili z}$

Tekdüze uzaklık özelliğine sahip bir aile verildiğinde , hash fonksiyonlarına değerleri olan tekdüze dağılmış bir rastgele sabit eklenerek ikili bağımsız veya güçlü evrensel bir karma aile üretilebilir . (Benzer şekilde, eğer ikinin gücü ise, bir XOR evrensel karma ailesinden, özel veya tek biçimli bir rastgele sabit kullanarak ikili bağımsızlık elde edebiliriz.) Bir sabitle kaydırma bazen uygulamalarda önemsiz olduğundan (örn. karma tabloları) , düzgün mesafe özelliği ile ikili bağımsız arasında dikkatli bir ayrım bazen yapılmaz. ${\görüntüleme stili [m]}$${\görüntüleme stili m}$

Bazı uygulamalar için (karma tabloları gibi), özet değerlerinin en az anlamlı bitlerinin de evrensel olması önemlidir. Bir aile güçlü evrensel olduğunda, bu garanti: eğer bir kuvvetle evrensel bir ailedir , daha sonra fonksiyondan oluşan aile tümü için de için kuvvetle evrenseldir . Ne yazık ki, aynısı (sadece) evrensel aileler için geçerli değildir. Örneğin, kimlik işlevinden oluşan aile açıkça evrenseldir, ancak işlevden oluşan aile evrensel olamaz. ${\görüntüleme stili H}$${\görüntüleme stili m=2^{L}}$${\displaystyle h{\bmod {2^{L'}}}}$${\görüntüleme stili h\H}$${\ Displaystyle L'\leq L}$${\görüntüleme stili h(x)=x}$${\displaystyle h(x)=x{\bmod {2^{L'}}}}$

UMAC ve Poly1305-AES ve diğer birkaç mesaj doğrulama kodu algoritması, evrensel karmaya dayalıdır. Bu tür uygulamalarda yazılım, her mesaj için o mesaj için benzersiz bir nonce'ye dayalı olarak yeni bir karma işlevi seçer.

Birkaç karma tablo uygulaması, evrensel karmaya dayalıdır. Bu tür uygulamalarda, tipik olarak yazılım, yalnızca "çok fazla" anahtarın çarpıştığını fark ettikten sonra yeni bir karma işlevi seçer; o zamana kadar aynı hash fonksiyonu tekrar tekrar kullanılmaya devam eder. ( Dinamik mükemmel karma gibi bazı çarpışma çözümleme şemaları, her çarpışma olduğunda yeni bir karma işlevi seçer. Guguklu karma ve 2 seçenekli karma gibi diğer çarpışma çözümleme şemaları, yeni bir karma işlevi seçmeden önce bir dizi çarpışmaya izin verir. ). Tamsayılar, vektörler ve diziler için bilinen en hızlı evrensel ve güçlü evrensel karma işlevlerin bir araştırması burada bulunur.

Matematiksel garantiler

Herhangi bir sabit seti için bir evrensel ailesini kullanarak tuşları, aşağıdaki özellikleri garanti eder. ${\görüntüleme stili S}$${\görüntüleme stili n}$

1. Herhangi bir sabit için de , çöpe tuşların beklenen sayı olduğu . Zincirleme yoluyla karma tabloları uygularken , bu sayı, anahtarı içeren bir işlemin (örneğin bir sorgu, ekleme veya silme) beklenen çalışma süresiyle orantılıdır .${\görüntüleme stili x}$${\görüntüleme stili S}$${\görüntüleme stili h(x)}$${\görüntüleme stili n/m}$${\görüntüleme stili x}$
2. Şifreler çiftlerinin beklenen sayısı olarak sahip olduğu çarpmasıyla, ( ) yukarıda sınırlanan düzenin olan . Binlerin sayısı lineer olarak seçildiğinde (yani, içindeki bir fonksiyon tarafından belirlenir ), beklenen çarpışma sayısı 'dir . Çöp kutularına girerken , en az yarım olasılıkla hiçbir çarpışma olmaz.${\görüntüleme stili x,y}$${\görüntüleme stili S}$${\görüntüleme stili x\neq y}$${\görüntüleme stili h(x)=h(y)}$${\görüntüleme stili n(n-1)/2m}$${\displaystyle O(n^{2}/m)}$${\görüntüleme stili m}$${\görüntüleme stili n}$${\görüntüleme stili \Omega (n)}$${\görüntüleme stili O(n)}$${\görüntüleme stili n^{2}}$
3. En azından içinde anahtar bulunan kutulardaki beklenen anahtar sayısı yukarıda ile sınırlandırılmıştır . Böylece, her bir kutunun kapasitesi ortalama boyutun ( ) üç katı ile sınırlandırılırsa , taşan kutulardaki toplam anahtar sayısı en fazla . Bu yalnızca, çarpışma olasılığı yukarıda ile sınırlanan bir karma ailesi için geçerlidir . ile sınırlayarak daha zayıf bir tanım kullanılırsa , bu sonuç artık doğru değildir.${\görüntüleme stili t}$${\ Displaystyle 2n/(t-2(n/m)+1)}$${\görüntüleme stili t=3n/m}$${\görüntüleme stili O(m)}$${\görüntüleme stili 1/m}$${\görüntüleme stili O(1/m)}$

Yukarıdaki garantiler herhangi bir sabit küme için geçerli olduğundan, veri kümesi bir rakip tarafından seçilirse geçerlidir. Ancak, düşmanın bu seçimi algoritmanın rastgele bir karma işlevi seçiminden önce (veya bundan bağımsız olarak) yapması gerekir. Düşman algoritmanın rastgele seçimini gözlemleyebilirse, rastgelelik hiçbir işe yaramaz ve durum deterministik karma ile aynıdır. ${\görüntüleme stili S}$

İkinci ve üçüncü garanti tipik olarak yeniden hasat etme ile birlikte kullanılır . Örneğin, birkaç çarpışmayı ele almak için rastgele bir algoritma hazırlanabilir . Çok fazla çarpışma gözlemlerse , aileden rastgele bir tane daha seçer ve tekrar eder. Evrensellik, tekrar sayısının geometrik bir rastgele değişken olmasını garanti eder . ${\görüntüleme stili O(n)}$${\görüntüleme stili h}$

İnşaatlar

Herhangi bir bilgisayar verisi bir veya daha fazla makine kelimesi olarak temsil edilebildiğinden, genellikle üç tür etki alanı için karma fonksiyonlara ihtiyaç duyulur: makine kelimeleri ("tamsayılar"); makine kelimelerinin sabit uzunluklu vektörleri; ve değişken uzunluklu vektörler ("dizeler").

Hashing tamsayıları

Bu bölüm, makine sözcüklerine uyan tamsayıları karma durumuna atıfta bulunur; bu nedenle çarpma, toplama, bölme vb. işlemler ucuz makine düzeyinde komutlardır. Hash edilecek evren olsun . ${\displaystyle \{0,\dots ,|U|-1\}}$

Carter ve Wegman'ın orijinal önerisi bir asal seçmek ve tanımlamaktı. ${\görüntüleme stili p\geq |U|}$

${\displaystyle h_{a,b}(x)=((ax+b)~{\bmod {~}}p)~{\bmod {~}}m}$

modulo ile rastgele seçilen tamsayılar nerede . (Bu, lineer uyumlu bir üretecin tek bir yinelemesidir .) ${\görüntüleme stili a,b}$${\görüntüleme stili p}$${\ Displaystyle a\neq 0}$

Bunun evrensel bir aile olduğunu görmek için , yalnızca şu durumlarda geçerli olduğuna dikkat edin:${\displaystyle H=\{h_{a,b}\}}$${\görüntüleme stili h(x)=h(y)}$

${\displaystyle balta+b\eşdeğer ay+b+i\cdot m{\pmod {p}}}$

ve arasında bir tam sayı için . Yana ise, onların fark sıfır olmadığı ve ters modulo sahiptir . İçin çözme verimleri ${\görüntüleme stili ben}$${\görüntüleme stili 0}$${\görüntüleme stili (p-1)/m}$${\görüntüleme stili p\geq |U|}$${\görüntüleme stili x\neq y}$${\görüntüleme stili xy}$${\görüntüleme stili p}$${\görüntüleme stili bir}$

${\displaystyle a\equiv i\cdot m\cdot (xy)^{-1}{\pmod {p}}}$.

Sağ taraf için ( hariç tutulduğundan) ve izin verilen aralıkta değişen olası sıfır olmayan değerler için olası seçenekler vardır . Böylece çarpışma olasılığı ${\görüntüleme stili p-1}$${\görüntüleme stili bir}$${\görüntüleme stili a=0}$${\görüntüleme stili ben}$${\displaystyle \lfloor (p-1)/m\rfloor }$

${\displaystyle \lfloor (p-1)/m\rfloor /(p-1)\leq ((p-1)/m)/(p-1)=1/m}$.

Evrensel bir aileyi görmenin başka bir yolu da istatistiksel uzaklık kavramıdır . Farkı olarak yazın${\görüntüleme stili H}$${\görüntüleme stili h(x)-h(y)}$

${\displaystyle h(x)-h(y)\equiv (a(xy)~{\bmod {~}}p){\pmod {m}}}$.

Yana sıfır olmadığı ve eşit şekilde dağıtılır , bu aşağıdaki modulo da eşit dağıtılır . Bu nedenle dağılımı , numuneler arasındaki olasılık farkı kadar, neredeyse tekdüzedir . Sonuç olarak, tek tip bir aileye istatistiksel uzaklık , olduğunda ihmal edilebilir hale gelir . ${\görüntüleme stili xy}$${\görüntüleme stili bir}$${\displaystyle \{1,\dots ,p-1\}}$${\görüntüleme stili bir(xy)}$${\görüntüleme stili p}$${\displaystyle \{1,\dots ,p-1\}}$${\displaystyle (h(x)-h(y))~{\bmod {~}}m}$${\displaystyle \pm 1/p}$${\görüntüleme stili O(m/p)}$${\görüntüleme stili p\gg m}$

Daha basit hash fonksiyonları ailesi

${\displaystyle h_{a}(x)=(ax~{\bmod {~}}p)~{\bmod {~}}m}$

sadece yaklaşık olarak evrenseldir: herkes için . Ayrıca, bu analiz neredeyse sıkıdır; Carter ve Wegman bunu her zaman gösteriyor . ${\displaystyle \Pr\{h_{a}(x)=h_{a}(y)\}\leq 2/m}$${\görüntüleme stili x\neq y}$${\displaystyle \Pr\{h_{a}(1)=h_{a}(m+1)\}\geq 2/(m-1)}$${\displaystyle (p-1)~{\bmod {~}}m=1}$

Modüler aritmetikten kaçınma

Tamsayıları karıştırmak için tekniğin en son durumu, Dietzfelbinger ve diğerleri tarafından açıklanan çoklu vardiya şemasıdır. Modüler aritmetikten kaçınarak, bu yöntemin uygulanması çok daha kolaydır ve pratikte önemli ölçüde daha hızlı çalışır (genellikle en az dört kat). Şema, kutu sayısının ikinin kuvveti olduğunu varsayar . Bir makine sözcüğündeki bit sayısı olsun . Daha sonra hash fonksiyonları, tek pozitif tamsayılar (bir bit kelimesine uyan) üzerinden parametrelendirilir . Değerlendirmek çarpın tarafından modülo ve sonra yüksek mertebeden tutmak karma kodu olarak bitlerini. Matematiksel gösterimde, bu ${\görüntüleme stili m=2^{M}}$${\görüntüleme stili w}$${\görüntüleme stili bir<2^{w}}$${\görüntüleme stili w}$${\görüntüleme stili h_{a}(x)}$${\görüntüleme stili x}$${\görüntüleme stili bir}$${\ Displaystyle 2^{w}}$${\görüntüleme stili M}$

${\displaystyle h_{a}(x)=(a\cdot x\,\,{\bmod {\,}}2^{w})\,\,\mathrm {div} \,\,2^{ wM}}$

ve C benzeri programlama dillerinde şu şekilde uygulanabilir :

${\displaystyle h_{a}(x)=}$ (size_t) (a*x) >> (w-M)

Bu düzen yok değil üniforma fark özelliğini tatmin ve sadece -neredeyse-evrensel ; herhangi için , . ${\görüntüleme stili 2/m}$${\görüntüleme stili x\neq y}$${\displaystyle \Pr\{h_{a}(x)=h_{a}(y)\}\leq 2/m}$

Durumunda, verilen uyarı hash fonksiyonu davranışını anlamak ve aynı yüksek sipariş 'M' bit olması, daha sonra en yüksek mertebeden M bitleri gibi tüm 1'ler veya tüm 0'lar ya sahiptir (olmadığına bağlı veya büyüktür). En az anlamlı set bitinin pozisyonda göründüğünü varsayın . Yana rasgele tek tamsayıdır ve tek tam sayı olarak tersleri sahip halka , aşağıdaki homojen arasında dağıtılacak konumda en az önemli bit kümesi ile -bit tamsayılar . Bu bitlerin tümünün 0'lar veya tüm 1'ler olma olasılığı bu nedenle en fazla . Öte yandan, eğer , o zaman yüksek dereceli M bitleri hem 0'ları hem de 1'leri içerir, bu nedenle . Son olarak, eğer bu durumda bit arasında 1 olduğu ve eğer bit yalnızca olasılıkla olur ki, aynı zamanda 1 olduğu . ${\displaystyle balta{\bmod {2}}^{w}}$${\displaystyle ay{\bmod {2}}^{w}}$${\displaystyle a(xy){\bmod {2}}^{w}}$${\displaystyle balta{\bmod {2}}^{w}}$${\displaystyle ay{\bmod {2}}^{w}}$${\görüntüleme stili xy}$${\görüntüleme stili wc}$${\görüntüleme stili bir}$ ${\displaystyle Z_{2^{w}}}$${\displaystyle a(xy){\bmod {2}}^{w}}$${\görüntüleme stili w}$${\görüntüleme stili wc}$${\ Displaystyle 2/2^{M}=2/m}$${\görüntüleme stili c<M}$${\displaystyle a(xy){\bmod {2}}^{w}}$${\görüntüleme stili h(x)\neq h(y)}$${\görüntüleme stili c=M}$${\görüntüleme stili wM}$${\displaystyle a(xy){\bmod {2}}^{w}}$${\displaystyle h_{a}(x)=h_{a}(y)}$${\displaystyle w-1,\ldots,w-M+1}$${\ Displaystyle 1/2^{M-1}=2/m}$

Bu analiz, örnekte gösterilebileceği gibi sıkıdır ve . Gerçekten 'evrensel' bir karma işlevi elde etmek için çarpma-ekleme-kaydırma şeması kullanılabilir. ${\displaystyle x=2^{wM-2}}$${\görüntüleme stili y=3x}$

${\displaystyle h_{a,b}(x)=((ax+b){\bmod {2}}^{w})\,\mathrm {div} \,2^{wM}}$

C benzeri programlama dillerinde uygulanabilen

${\displaystyle h_{a,b}(x)=}$ (size_t) (a*x+b) >> (w-M)

ile rastgele bir tek pozitif tam sayı ve ile rastgele negatif olmayan bir tam sayıdır . Bu seçimlerle ve , herkes için . Bu, İngilizce makaledeki yanlış çeviriden biraz ama önemli ölçüde farklıdır. ${\görüntüleme stili bir}$${\görüntüleme stili bir<2^{w}}$${\görüntüleme stili b}$${\görüntüleme stili b<2^{wM}}$${\görüntüleme stili bir}$${\görüntüleme stili b}$${\displaystyle \Pr\{h_{a,b}(x)=h_{a,b}(y)\}\leq 1/m}$${\displaystyle x\değil \eşdeğer y{\pmod {2^{w}}}}$

vektörler

Bu bölüm, makine sözcüklerinin sabit uzunlukta bir vektörünün hash edilmesiyle ilgilidir. Bir vektör olarak giriş yorumlama ve makine kelime (tamsayılardır bit) ekstrakte edildi. Tek tip fark özelliğine sahip bir evrensel aile ise, aşağıdaki aile (Carter ve Wegman'a kadar uzanan) aynı zamanda tek tip fark özelliğine sahiptir (ve dolayısıyla evrenseldir): ${\displaystyle {\bar {x}}=(x_{0},\dots ,x_{k-1})}$${\görüntüleme stili k}$${\görüntüleme stili w}$${\görüntüleme stili H}$

${\displaystyle h({\bar {x}})=\left(\sum _{i=0}^{k-1}h_{i}(x_{i})\sağ)\,{\bmod { ~}}m}$, burada her biri bağımsız olarak rastgele seçilir.${\displaystyle h_{i}\H}$

İkinin gücü ise, toplama, özel veya ile değiştirilebilir. ${\görüntüleme stili m}$

Pratikte, eğer çift kesinlikli aritmetik mevcutsa, bu, çok vardiyalı hash fonksiyonlarının hash ailesi ile somutlaştırılır. Her bir bit üzerinde rastgele tek tamsayılardan oluşan bir vektörle karma işlevini başlatın . O zaman kutu sayısı için ise : ${\displaystyle {\bar {a}}=(a_{0},\dots ,a_{k-1})}$${\ Displaystyle 2w}$${\görüntüleme stili m=2^{M}}$${\ Displaystyle M\leq w}$

${\displaystyle h_{\bar {a}}({\bar {x}})=\left({\big (}\sum _{i=0}^{k-1}x_{i}\cdot a_) {i}{\big )}~{\bmod {~}}2^{2w}\sağ)\,\,\mathrm {div} \,\,2^{2w-M}}$.

Pratikte kabaca iki kat hızlanma anlamına gelen çarpma sayısını yarıya indirmek mümkündür. Her bir bit üzerinde rastgele tek tamsayılardan oluşan bir vektörle karma işlevini başlatın . Aşağıdaki karma ailesi evrenseldir: ${\displaystyle {\bar {a}}=(a_{0},\dots ,a_{k-1})}$${\ Displaystyle 2w}$

${\displaystyle h_{\bar {a}}({\bar {x}})=\left({\Big (}\sum _{i=0}^{\lceil k/2\rceil }(x_{) 2i}+a_{2i})\cdot (x_{2i+1}+a_{2i+1}){\Big )}{\bmod {~}}2^{2w}\sağ)\,\,\ matematik {div} \,\,2^{2w-M}}$.

Çift duyarlıklı işlemler mevcut değilse, girdi yarım sözcüklerden ( -bit tamsayılar) oluşan bir vektör olarak yorumlanabilir . Algoritma daha sonra vektördeki yarım kelimelerin sayısı olan çarpmaları kullanır . Böylece, algoritma, girdi kelimesi başına bir çarpma "hızında" çalışır. ${\ Displaystyle w/2}$${\displaystyle \lceil k/2\rceil }$${\görüntüleme stili k}$

Aynı şema, bitlerini bayt vektörleri olarak yorumlayarak tam sayıların hash edilmesi için de kullanılabilir. Bu varyantta, vektör tekniği tablolama karma olarak bilinir ve çarpma tabanlı evrensel karma şemalara pratik bir alternatif sağlar.

Yüksek hızda güçlü evrensellik de mümkündür. Bitler üzerindeki rastgele tamsayılardan oluşan bir vektörle karma işlevini başlatın . hesaplama ${\displaystyle {\bar {a}}=(a_{0},\dots ,a_{k})}$${\ Displaystyle 2w}$

${\displaystyle h_{\bar {a}}({\bar {x}})^{\mathrm {strong} }=(a_{0}+\sum _{i=0}^{k-1}a_ {i+1}x_{i}{\bmod {~}}2^{2w})\,\,\mathrm {div} \,\,2^{w}}$.

Sonuç, bitlerde güçlü bir şekilde evrenseldir . Deneysel olarak, son Intel işlemcilerde bayt başına 0,2 CPU döngüsünde çalıştığı bulundu . ${\görüntüleme stili w}$${\görüntüleme stili w=32}$

Hashing dizeleri

Bu, değişken boyutlu bir makine sözcükleri vektörünün hash edilmesi anlamına gelir . Dizinin uzunluğu küçük bir sayı ile sınırlandırılabiliyorsa, vektör çözümünü yukarıdan kullanmak en iyisidir (kavramsal olarak vektörü üst sınıra kadar sıfırlarla doldurmak). Gerekli alan, dizenin maksimum uzunluğudur, ancak değerlendirme süresi yalnızca . Dizede sıfırlar yasak olduğu sürece, karma işlevi değerlendirilirken evrenselliği etkilemeden sıfır doldurma göz ardı edilebilir. Dizede sıfırlara izin veriliyorsa, doldurmadan önce tüm dizelere sıfırdan farklı bir hayali (örn. 1) karakter eklemek en iyisi olabilir: bu, evrenselliğin etkilenmemesini sağlayacaktır. ${\görüntüleme stili h(ler)}$${\görüntüleme stili s}$

Şimdi , iyi bir sınırın önceden bilinmediği yerde hash istediğimizi varsayalım . Tarafından önerilen evrensel bir aile, dizeyi bir polinom modulo büyük bir asalın katsayıları olarak ele alır . Eğer , asal olsun ve tanımlayın: ${\displaystyle {\bar {x}}=(x_{0},\dots ,x_{\ell })}$${\görüntüleme stili\el }$${\görüntüleme stili x}$${\displaystyle x_{i}\in [u]}$${\displaystyle p\geq \max\{u,m\}}$

${\displaystyle h_{a}({\bar {x}})=h_{\mathrm {int} }\left({\big (}\sum _{i=0}^{\ell }x_{i} \cdot a^{\ell -i}{\big )}{\bmod {~}}p\sağ)}$burada tek tip rastgeledir ve evrensel bir aile eşleme tamsayı etki alanından rastgele seçilir .${\ Displaystyle a\in [p]}$${\displaystyle h_{\mathrm {int} }}$${\displaystyle [p]\mapsto [m]}$

Modüler aritmetiğin özelliklerini kullanarak, büyük diziler için büyük sayılar üretilmeden yukarıdaki gibi hesaplanabilir:

uint hash(String x, int a, int p)
	uint h = INITIAL_VALUE
	for (uint i=0 ; i < x.length ; ++i)
		h = ((h*a) + x[i]) mod p
	return h

Bu Rabin-Karp yuvarlanan hash , lineer uyumlu bir üreteci temel alır . Yukarıdaki algoritma, Çarpımsal karma işlevi olarak da bilinir . Pratikte, mod operatörü ve p parametresi , birçok programlama dilinde mod ( Max-Int-Value + 1) ile eşdeğer olduğundan, tamsayı taşmasına izin verilerek tamamen önlenebilir . Aşağıdaki tablo, bazı popüler uygulamalar için h ve a'yı başlatmak için seçilen değerleri gösterir .

İki dize düşünün ve daha uzun olanın uzunluğu olsun ; analiz için, daha kısa dize kavramsal olarak uzunluğa kadar sıfırlarla doldurulur . Uygulamadan önceki bir çarpışma , bunun katsayılı polinomun bir kökü olduğunu ima eder . Bu polinomun en fazla modulo kökü vardır , dolayısıyla çarpışma olasılığı en fazla olur . Rastgele çarpışma olasılığı, toplam çarpışma olasılığını . Bu nedenle, asal , hash edilen dizelerin uzunluğuna kıyasla yeterince büyükse, aile evrensele çok yakındır ( istatistiksel uzaklık olarak ). ${\displaystyle {\bar {x}},{\bar {y}}}$${\görüntüleme stili\el }$${\görüntüleme stili\el }$${\displaystyle h_{\mathrm {int} }}$${\görüntüleme stili bir}$${\displaystyle {\bar {x}}-{\bar {y}}}$${\görüntüleme stili\el }$${\görüntüleme stili p}$${\görüntüleme stili \el /p}$${\displaystyle h_{\mathrm {int} }}$${\displaystyle {\frac {1}{m}}+{\frac {\ell }{p}}}$${\görüntüleme stili p}$

Bilinmeyen uzunluktaki dizeleri sabit uzunluktaki özet değerlere hash etmek için kullanılan diğer evrensel hash fonksiyonları aileleri arasında Rabin parmak izi ve Buzhash bulunur .

Modüler aritmetikten kaçınma

Modüler aritmetiğin hesaplama cezasını azaltmak için pratikte üç numara kullanılır:

1. Biri , Mersenne üssü gibi, ikinin kuvvetine yakın olacak şekilde asal seçilir . Bu, aritmetik modulo'nun bölme olmaksızın uygulanmasına izin verir (toplama ve kaydırma gibi daha hızlı işlemler kullanılarak). Örneğin, modern mimarilerde 'ler 32-bit değerler iken, ile çalışılabilir .${\görüntüleme stili p}$${\görüntüleme stili p}$${\görüntüleme stili p=2^{61}-1}$${\displaystyle x_{i}}$
2. Bloklara vektör karması uygulanabilir. Örneğin, dizenin her 16 kelimelik bloğuna vektör karma işlemi uygulanır ve sonuçlara dize karma işlemi uygulanır . Daha yavaş dizi hash işlemi büyük ölçüde daha küçük bir vektöre uygulandığından, bu esasen vektör hash işlemi kadar hızlı olacaktır.${\displaystyle \lceil k/16\rceil }$
3. Biri, bölen olarak ikinin kuvveti seçilerek , aritmetik modulonun bölünme olmaksızın uygulanmasına izin verilir (daha hızlı bit maskeleme işlemleri kullanılarak ). NH karma fonksiyonlu ailesi bu yaklaşım getiriyor.${\ Displaystyle 2^{w}}$

Ayrıca bakınız

• K-bağımsız karma
• haddeleme karma
• Tablo karma
• Min-bilge bağımsızlık
• Evrensel tek yönlü hash işlevi
• Düşük tutarsızlık dizisi
• Mükemmel karma

Referanslar

daha fazla okuma

• Knuth, Donald Ervin (1998). Bilgisayar Programlama Sanatı, Cilt. III: Sıralama ve Arama (3. baskı). Okuma, Kütle; Londra: Addison-Wesley. ISBN'si 0-201-89685-0.

Dış bağlantılar

• Açık Veri Yapıları - Bölüm 5.1.1 - Çarpımsal Hashing , Pat Morin