Bellek içi işleme - In-memory processing
Gelen bilgisayar bilimleri , bellek içi işleme bir olduğu gelişmekte olan teknoloji için verilerin işlenmesi bir saklanan bellek veri tabanı . Daha eski sistemler, SQL sorgu dilini kullanan disk depolama ve ilişkisel veritabanlarına dayanıyordu , ancak bunlar iş zekası (BI) ihtiyaçlarını karşılamak için giderek yetersiz kalıyor. Depolanan verilere, rastgele erişimli belleğe (RAM) veya flash belleğe yerleştirildiğinde çok daha hızlı erişildiğinden , bellek içi işleme, verilerin gerçek zamanlı olarak analiz edilmesini sağlayarak iş dünyasında daha hızlı raporlama ve karar vermeyi sağlar.
Disk Tabanlı İş Zekası
Veri yapıları
Disk tabanlı teknoloji ile veriler, sorguların çalıştırıldığı çoklu tablolar ve çok boyutlu yapılar şeklinde bilgisayarın sabit diskine yüklenir . Disk tabanlı teknolojiler , genellikle SQL Server , MySQL , Oracle ve diğerleri gibi yapılandırılmış sorgu diline ( SQL ) dayanan ilişkisel veritabanı yönetim sistemleridir (RDBMS) . RDBMS, işlemsel işleme gereksinimleri için tasarlanmıştır . Eklemeleri ve güncellemeleri destekleyen ve aynı zamanda toplama gerçekleştirmeyi destekleyen bir veritabanı kullanıldığında, birleştirmeler (BI çözümlerinde tipiktir) genellikle çok yavaştır. Diğer bir dezavantaj, SQL'in veri satırlarını verimli bir şekilde getirmek için tasarlanmış olması ve BI sorgularının genellikle ağır hesaplamalar içeren kısmi veri satırlarının getirilmesini içermesidir.
Sorgu performansını artırmak için çok boyutlu veritabanları veya çok boyutlu çevrimiçi analitik işleme (MOLAP) olarak da adlandırılan OLAP küpleri oluşturulur. Küp tasarlamak ayrıntılı ve uzun bir süreçtir ve küpün yapısını dinamik olarak değişen iş gereksinimlerine uyum sağlayacak şekilde değiştirmek zahmetli olabilir. Küpler, belirli sorguları yanıtlamak için verilerle önceden doldurulur ve performansı artırsalar da, geçici sorguları yanıtlamak için hala uygun değildirler.
Bilgi teknolojisi (BT) personeli, veritabanlarını optimize etmeye, dizinler ve kümeler oluşturmaya , küpler ve yıldız şemaları tasarlamaya , veri modellemeye ve sorgu analizine önemli ölçüde geliştirme zamanı harcar .
İşleme hızı
Aynı verileri RAM'den okumaya kıyasla, sabit diskten veri okumak çok daha yavaştır (muhtemelen yüzlerce kez). Özellikle büyük hacimli verileri analiz ederken performans ciddi şekilde düşer. SQL çok güçlü bir araç olmasına rağmen, karmaşık sorguların yürütülmesi nispeten uzun zaman alır ve genellikle işlemsel işleme performansının düşmesine neden olur. Kabul edilebilir bir yanıt süresi içinde sonuçlar elde etmek için, birçok veri ambarı , özetleri önceden hesaplayacak ve yalnızca belirli sorguları yanıtlayacak şekilde tasarlanmıştır. Performansı artırmak için optimize edilmiş toplama algoritmalarına ihtiyaç vardır.
Bellek içi işleme araçları
Bellek işleme, Oracle , DB2 veya Microsoft SQL Server gibi geleneksel veritabanları veya Hazelcast , Infinispan , Oracle Coherence veya ScaleOut Yazılımı gibi bellek içi veri ızgarası gibi NoSQL teklifleri aracılığıyla gerçekleştirilebilir . Hem bellek içi veritabanı hem de veri ızgarası ile , tüm bilgiler başlangıçta sabit diskler yerine bellek RAM'e veya flash belleğe yüklenir . Bir veri şebekesi ile işleme, ACID gibi ek işlevsellik için tazminat olarak performansı düşüren gelişmiş işlevselliğe sahip ilişkisel veritabanlarından üç büyüklük mertebesinde daha hızlı gerçekleşir . Gelişi kolon merkezli veri tabanları birbirine benzer bilgileri depolamak, verileri daha verimli bir şekilde depolanır ve daha ile izin sıkıştırma oranları. Bu, büyük miktarda verinin aynı fiziksel alanda depolanmasına izin vererek, bir sorgu gerçekleştirmek için gereken bellek miktarını azaltır ve işlem hızını artırır. Birçok kullanıcı ve yazılım satıcısı, sistemlerin daha büyük veri kümelerine daha ekonomik bir şekilde ölçeklenmesini sağlamak için flash belleği sistemlerine entegre etti. Oracle, performansı artırmak için flash belleği Oracle Exadata ürünlerine entegre ediyor . Microsoft SQL Server 2012 BI/Veri Ambarı yazılımı, 20 TB'den büyük veri kümelerinin bellek içi işlenmesini sağlamak için Keman Belleği flash bellek dizileriyle birleştirilmiştir.
Kullanıcılar, sistemin belleğine yüklenen verileri sorgulayarak, daha yavaş veritabanı erişimi ve performans darboğazlarından kaçınır. Bu , sorgu performansını hızlandırmak için çok yaygın olarak kullanılan bir yöntem olan önbelleğe alma işleminden farklıdır, çünkü önbellekler çok özel önceden tanımlanmış organize verilerin alt kümeleridir. Bellek içi araçlarla, analiz için mevcut veriler, tamamen bellekte bulunan bir data mart veya küçük veri ambarı kadar büyük olabilir . Buna, birden fazla eşzamanlı kullanıcı veya uygulama tarafından ayrıntılı bir düzeyde hızlı bir şekilde erişilebilir ve gelişmiş analitik ve bir uygulamanın ölçeklendirilmesi ve hızının artırılması için potansiyel sunar. Teorik olarak, veri erişim hızındaki iyileşme, diske kıyasla 10.000 ila 1.000.000 kat arasındadır. Ayrıca BT personelinin performans ayarlaması ihtiyacını en aza indirir ve son kullanıcılar için daha hızlı hizmet sağlar.
Bellek içi işleme teknolojisinin avantajları
Bilgisayar teknolojisindeki ve iş gereksinimlerindeki belirli gelişmeler, bellek içi teknolojinin göreli avantajlarını artırma eğiliminde olmuştur.
- Moore yasasına göre donanım giderek daha ucuz ve daha yüksek performanslı hale geliyor . Bilgi işlem gücü, maliyetlerde düşerken her iki ila üç yılda bir ikiye katlanır. CPU işleme, bellek ve disk depolama, tümü bu yasanın bazı varyasyonlarına tabidir. Sütun merkezli veri tabanları, sıkıştırma teknikleri ve toplu tabloları işleme gibi yazılım yeniliklerine ek olarak, çok çekirdekli mimari , NAND flash bellek , paralel sunucular ve artırılmış bellek işleme kapasitesi gibi donanım yenilikleri de bellek içi talebe katkıda bulunmuştur. Ürün:% s.
- 32 bit sistemlerde erişilebilen 2 veya 4 GB'den çok daha fazla RAM'e (100 GB veya daha fazla) erişime izin veren 64 bit işletim sistemlerinin ortaya çıkışı . 64 bit işletim sistemleri, depolama ve analiz için Terabayt (1 TB = 1.024 GB) alan sağlayarak bellek içi işlemeyi ölçeklenebilir hale getirir. Flash bellek kullanımı, sistemlerin daha ekonomik olarak birçok Terabayta ölçeklenmesini sağlar.
- Artan veri hacimleri, geleneksel veri ambarlarının artık verileri zamanında ve doğru bir şekilde işleyemeyeceği anlamına geliyordu. Özü, dönüşümü, yük periyodik operasyonel verileri ile veri ambarları günceller (ETL) işleminin tamamlanması hafta birkaç saat arasında sürebilir. Bu nedenle, herhangi bir zaman noktasında veriler en az bir günlüktür. Bellek içi işleme, gerçek zamanlı raporlama için terabaytlarca veriye anında erişim sağlar.
- Bellek içi işleme, geleneksel BI araçlarına kıyasla daha düşük bir maliyetle sunulur ve daha kolay dağıtılıp bakımı yapılabilir. Gartner anketine göre, geleneksel BI araçlarının devreye alınması 17 ay kadar uzun sürebilir. Birçok veri ambarı satıcısı, uygulama sürelerini hızlandırmak için geleneksel BI yerine bellek içi teknolojiyi seçiyor.
İş hayatında uygulama
Bir dizi bellek içi ürün, mevcut veri kaynaklarına bağlanma ve görsel olarak zengin etkileşimli panolara erişim olanağı sağlar. Bu, iş analistlerinin ve son kullanıcıların fazla eğitim veya uzmanlık gerektirmeden özel raporlar ve sorgular oluşturmasına olanak tanır. Kolay gezinme ve sorguları anında değiştirme yeteneği, birçok kullanıcı için faydalıdır. Bu panolar yeni verilerle doldurulabildiğinden, kullanıcılar gerçek zamanlı verilere erişebilir ve dakikalar içinde raporlar oluşturabilir. Bellek içi işleme, çağrı merkezlerinde ve depo yönetiminde özellikle yararlı olabilir .
Bellek içi işleme ile, her sorgu çalıştırıldığında veritabanına erişmek yerine kaynak veritabanı yalnızca bir kez sorgulanır, böylece tekrarlayan işlemeleri ortadan kaldırır ve veritabanı sunucuları üzerindeki yükü azaltır. Bellek içi veritabanını bir gecede doldurmak için zamanlama yaparak, veritabanı sunucuları yoğun saatlerde operasyonel amaçlar için kullanılabilir.
Bellek içi teknolojinin benimsenmesi
Çok sayıda kullanıcıyla, bellek içi yapılandırma için büyük miktarda RAM gerekir ve bu da donanım maliyetlerini etkiler. Yatırımın, sorgu yanıt hızının yüksek öncelikli olduğu ve veri hacminde önemli bir büyümenin ve raporlama tesislerine olan talebin arttığı durumlarda uygun olma olasılığı daha yüksektir; bilginin hızlı değişime tabi olmadığı durumlarda yine de uygun maliyetli olmayabilir. Bellek içi araçlar son kullanıcılara büyük miktarda veri sunduğundan, güvenlik de dikkate alınması gereken bir diğer konudur. Üreticiler, verilere yalnızca yetkili kullanıcılara erişim verilmesini sağlamayı önerir.
