Şirketler dijital iş modellerine güvenmek istiyorsa, eski veri ambarı ve mesajlaşma mimarileri genellikle bir engel teşkil eder. Akışa dayalı yeni bir yaklaşım, özellikle anabilgisayar verilerinin de dahil edilmesi gerektiğinde altyapı esnekliğini, çevikliğini ve ölçeklenebilirliğini artırmaya yardımcı olur.
Kai Wähner, Kafka’yı 120’den fazla bağlayıcı ve veri akışı işleme ile ana bilgisayarlar için bile kurumsal düzeyde güvenlik ve yönetişimle bütünleştiren Confluent şirketinin Saha CTO’sudur. Apache Kafka, akış işleme, gerçek zamanlı veri hatları ve büyük ölçekli veri entegrasyonu için kullanılan açık kaynaklı, lisanslı, dağıtılmış bir akış sistemidir. Kafka, gerçek zamanlı veri akışlarını işlemek için 2011 yılında LinkedIn’de geliştirildi. O zamandan beri, bir mesajlaşma kuyruğundan saniyede bir milyondan fazla mesajı ve günde trilyonlarca mesajı işleyebilen tam teşekküllü bir olay akışı platformuna hızla dönüştü.
Çünkü gerçek zamanlı analitik teknolojileriyle, yalıtılmış silolar olarak itibarını yitiren ana bilgisayarları modern akış platformlarına entegre etmek artık mümkün. Bu, özellikle veri akışlarını işlemek için kullanılan ücretsiz Apache Kafka yazılımına ek olarak, örneğin Apache Kudu (Hadoop için hızlı bir analiz motoru olarak) veya veri akışıyla uygulama yazmak için bir çerçeve olan Spark Streaming’i de içerir.
Akış platformları ana çerçeveler düşünülmeden geliştirildiğinden, akış platformları tarafından desteklenen bir biçimde anabilgisayar verilerini içe aktarmanın uygulanabilir bir yoluna ihtiyaç vardır. Teorik olarak bunu mümkün kılan birkaç seçenek var. Kai Wähner’e hangilerinin var olduğunu ve neyin önemli olduğunu sorduk.
Bay Wähner, Confluent Kafka’ya dayalı olarak ne tür bir akış uyguluyor? Bu terim, son kullanıcılar tarafından kullanılması nedeniyle kullanımda oldukça belirsizdir.
Geleneksel ortamlarda veriler, veri silolarında uygulamalarınıza zincirlenir. Uygulamalar, özel olarak hazırlanmış bağlayıcılar aracılığıyla diğer uygulamalarla sıkı bir şekilde bütünleştirilir, böylece verilerin herhangi bir esnek ve kapsamlı kullanımı çok karmaşık ve külfetlidir.
Veri akışı, uygulamaları birbirinden ayırır ve banka şubeleri veya perakende zincirleri gibi yaygın olarak dağıtılmış ortamlarda özellikle önemli olan veri akışını sağlar. Çevrimiçi bir satın alma işleminden bir sistem arızasına kadar herhangi bir şey olabilen olaylar, daha sonra akış platformuna iletilen gerçek zamanlı veriler üretir. Alındığı sırada değişmeden saklar, bu da onu merkezi bilgi kaynağı yapar.
Ayrıca veri içeriği, uygulamaların ihtiyaçlarına göre uyarlanabilecek sözde konulara atanır. Modern bir akış platformu, veritabanları gibi geleneksel veri kaynaklarına kolayca bağlanarak olay verilerini envanter verileriyle ilişkilendirebilir. Uygulamalar akış platformlarına erişirse, ihtiyaç duydukları konulara abone olurlar ve ardından onlar için gerçek zamanlı olarak en güncel ve ilgili verileri otomatik olarak alırlar. Bunlar, uygulamaları kendilerine uygun biçime getirir, böylece karmaşık ETL işlemi artık gerekli değildir.
Hemen hemen her uygulama uygun konektörler kullanılarak bağlanabilir. Bu eski veya bulutta yerel bağlayıcılar, genellikle zaten modern bir akış platformunda sağlanır.
Yani bu, hareket halindeki verilere odaklanan bir veri altyapısıdır – anabilgisayar verileri neden böyle bir akış platformuna aittir? Sonuçta, anabilgisayarlar aslında merkezi veri yönetimi kavramını uygular.
Anabilgisayarların veya diğer eski platformların, Apache Kafka tabanlı Confluent gibi akış ortamlarına entegre edilebilmesi, en büyük avantajlarından biridir: çünkü bankalar, sigorta şirketleri, perakendeciler ve büyük endüstriyel şirketler, hesaplarında ölçülemeyecek kadar büyük ve değerli veritabanları bulundururlar. anabilgisayar uygulamaları. Ayrıca, anabilgisayar uygulamaları genellikle çok işlevsel ve güçlüdür ve uzun yıllardır denenmiş ve test edilmiştir. Onlarsız yapmak zorunda değilsiniz ve soyulmaları da kolay değil.
Bir yandan, örneğin ticari veya IoT ortamlarından sürekli olarak ortaya çıkan gerçek zamanlı olaylar kaydedilmeli ve kesin belgeler halinde sunulmalı, diğer yandan envanter verileri de bir bilgi kaynağı olarak işlev görmelidir. Yalnızca her ikisinin ortak kullanımı genellikle yeni içgörüler üretir ve yeni iş modelleri sağlar.
Haberin Sonu
Kai Wähner, Kafka’yı 120’den fazla bağlayıcı ve veri akışı işleme ile ana bilgisayarlar için bile kurumsal düzeyde güvenlik ve yönetişimle bütünleştiren Confluent şirketinin Saha CTO’sudur. Apache Kafka, akış işleme, gerçek zamanlı veri hatları ve büyük ölçekli veri entegrasyonu için kullanılan açık kaynaklı, lisanslı, dağıtılmış bir akış sistemidir. Kafka, gerçek zamanlı veri akışlarını işlemek için 2011 yılında LinkedIn’de geliştirildi. O zamandan beri, bir mesajlaşma kuyruğundan saniyede bir milyondan fazla mesajı ve günde trilyonlarca mesajı işleyebilen tam teşekküllü bir olay akışı platformuna hızla dönüştü.
Çünkü gerçek zamanlı analitik teknolojileriyle, yalıtılmış silolar olarak itibarını yitiren ana bilgisayarları modern akış platformlarına entegre etmek artık mümkün. Bu, özellikle veri akışlarını işlemek için kullanılan ücretsiz Apache Kafka yazılımına ek olarak, örneğin Apache Kudu (Hadoop için hızlı bir analiz motoru olarak) veya veri akışıyla uygulama yazmak için bir çerçeve olan Spark Streaming’i de içerir.
Akış platformları ana çerçeveler düşünülmeden geliştirildiğinden, akış platformları tarafından desteklenen bir biçimde anabilgisayar verilerini içe aktarmanın uygulanabilir bir yoluna ihtiyaç vardır. Teorik olarak bunu mümkün kılan birkaç seçenek var. Kai Wähner’e hangilerinin var olduğunu ve neyin önemli olduğunu sorduk.
Bay Wähner, Confluent Kafka’ya dayalı olarak ne tür bir akış uyguluyor? Bu terim, son kullanıcılar tarafından kullanılması nedeniyle kullanımda oldukça belirsizdir.
Geleneksel ortamlarda veriler, veri silolarında uygulamalarınıza zincirlenir. Uygulamalar, özel olarak hazırlanmış bağlayıcılar aracılığıyla diğer uygulamalarla sıkı bir şekilde bütünleştirilir, böylece verilerin herhangi bir esnek ve kapsamlı kullanımı çok karmaşık ve külfetlidir.
Veri akışı, uygulamaları birbirinden ayırır ve banka şubeleri veya perakende zincirleri gibi yaygın olarak dağıtılmış ortamlarda özellikle önemli olan veri akışını sağlar. Çevrimiçi bir satın alma işleminden bir sistem arızasına kadar herhangi bir şey olabilen olaylar, daha sonra akış platformuna iletilen gerçek zamanlı veriler üretir. Alındığı sırada değişmeden saklar, bu da onu merkezi bilgi kaynağı yapar.
Ayrıca veri içeriği, uygulamaların ihtiyaçlarına göre uyarlanabilecek sözde konulara atanır. Modern bir akış platformu, veritabanları gibi geleneksel veri kaynaklarına kolayca bağlanarak olay verilerini envanter verileriyle ilişkilendirebilir. Uygulamalar akış platformlarına erişirse, ihtiyaç duydukları konulara abone olurlar ve ardından onlar için gerçek zamanlı olarak en güncel ve ilgili verileri otomatik olarak alırlar. Bunlar, uygulamaları kendilerine uygun biçime getirir, böylece karmaşık ETL işlemi artık gerekli değildir.
Hemen hemen her uygulama uygun konektörler kullanılarak bağlanabilir. Bu eski veya bulutta yerel bağlayıcılar, genellikle zaten modern bir akış platformunda sağlanır.
Yani bu, hareket halindeki verilere odaklanan bir veri altyapısıdır – anabilgisayar verileri neden böyle bir akış platformuna aittir? Sonuçta, anabilgisayarlar aslında merkezi veri yönetimi kavramını uygular.
Anabilgisayarların veya diğer eski platformların, Apache Kafka tabanlı Confluent gibi akış ortamlarına entegre edilebilmesi, en büyük avantajlarından biridir: çünkü bankalar, sigorta şirketleri, perakendeciler ve büyük endüstriyel şirketler, hesaplarında ölçülemeyecek kadar büyük ve değerli veritabanları bulundururlar. anabilgisayar uygulamaları. Ayrıca, anabilgisayar uygulamaları genellikle çok işlevsel ve güçlüdür ve uzun yıllardır denenmiş ve test edilmiştir. Onlarsız yapmak zorunda değilsiniz ve soyulmaları da kolay değil.
Bir yandan, örneğin ticari veya IoT ortamlarından sürekli olarak ortaya çıkan gerçek zamanlı olaylar kaydedilmeli ve kesin belgeler halinde sunulmalı, diğer yandan envanter verileri de bir bilgi kaynağı olarak işlev görmelidir. Yalnızca her ikisinin ortak kullanımı genellikle yeni içgörüler üretir ve yeni iş modelleri sağlar.
Haberin Sonu