Türkiye’deki Log Yönetimi Projelerinde Eksik Korelasyon Algısı

Dr. ERTUĞRUL AKBAŞ

eakbas@gmail.com

Kelimeler: Korelasyon, Korelasyon Motorları, Bilgi Çıkarımı, Bilgi Güvenliği, Log Yönetimi, Log Analizi, Kurumlarda Log Yönetiminin Gerekliliği, 5651 Sayılı Yasa,  Log Yönetimi,  Log Normalleştirme, SIEM, SYSLOG, SNMP,  5651 Sayılı Kanun, Karmaşık Olay İnceleme, Complex Event Processing, CEP, Olaylar Akımı İnceleme, Event Stream Processing, ESP, RETE Algorithm, CEP, Event, ECA, Rules, İleri Analitik ve Korelasyon Yetenekleri

OLAY VE KORELASYON TANIMI

Genellikle olay basitçe, zaman içerisinde herhangi bir anda olan her şey olarak tarif edilebilir. Örnek olarak: Bir telefonun zil çalması, bir trenin varışı, bir dosyaya erişilmesi veya olan herhangi bir şey verilebilir.

Bilişim terminolojisi açısından bakarsak olay ne olduğu ve ne zaman olduğu ile ilgili bilgi içeren mesajdır. Örnek vermek gerekirse: WEB sunucusuna yapılan isteğin sistem log dosyasına kaydı, network link down mesajı ya da kullanıcı butona bastı olayları gibi

 Korelasyon ise farklı olaylar arasındaki ilişkiyi ortaya çıkarma işlemine verilen addır.

Olay Korelasyonu (Event correlation) olaylardaki bilgilerden daha anlamlı ve yüksek seviye bilgi çıkarımına verilen addır.

Örnek Senaryolar:

·         Olağanüstü durumları tespit etmek,

·         Bir sorunun kök nedenini (root cause) belirlemek,

·         veya gelecekle ilgili tahminler yapmak ve eğilimleri analiz etmek .

Korelasyon teknikleri pek çoktur. İleride bu tekniklerle ilgili bilgiler verilecektir. Uygulama alanları da çok çeşitlidir.

·         Piyasa ve işletme veri analizi (örneğin  pazar eğilimleri tepiti),

·         Algoritmik alım satım (bir hisse senedi fiyatı gelişimi hakkında tahminler yapmak gibi),

·         Sahtekarlık algılama (örneğin bir kredi kartı kullanım alışkanlıklarındaki anormallik tespiti),

·         Sistem log analizi (örneğin benzer mesajları gruplama ve önemli olayları iletme)

·         veya ağ yönetimi ve hata analizi (örneğin bir ağ kök neden (root cause) tespit sorunu)

·         Log Yönetimindeki yeri ise ağ üzerindeki sayısız olay lar arasında birbiri ile bağlantılı olanları analiz ederek yöneticiye daha anlamlı bilgiler sağlamaktır.

 

OLAY VE KORELASYON İLE İLGİLİ TERMİNOLOJİ

Her konuda olduğu gibi konunun daha iyi anlaşılabilmesi için terminolojinin bilinmesi gerekmektedir.

·         Geri plan yordamı (Deamon): Arka planda gelen isteklere cevap veren uygulama

·         Olumsuz olay (incident): Dikkat edilmesi gereken geçici anormal durum veya bilgi işleme sistemlerinde, gerçek ya da potansiyel anlamda olumsuz etkisi olacak olay. Bir olumsuz olaydan birden fazla olay üretilebilir.

·         Yanlış kabul (False Positive) : Problem olmaması durumunu problem diye algılama. Sözlük anlamı ise: İstatistiksel hipotez testinde boş varsayımı doğru iken boş varsayımının yadsınması hatası.

·         Yanlış Red Hatası (False Negative) : Problem olması durumunun problemsiz olarak algılanması. Sözlük anlamı ise: İstatistiksel hipotez testinde boş varsayımı doğru değilken bunun kabul edilme hatası

·         Olay Kaynağı (Event Source) :

·         Olay Hedefi (Event Sink): Mesela veritabanı ve helpdesk sistemi

·         Ham olay (Raw Event) : Log sistemine yazıldığı format

·         Giriş Olayı (Input event) :Korelasyon safhasındaki olay

·         Çıkış olayı (Output event) :Olayın Korelasyon motorundan çıkan hali

·         Sonuç olayı (Derived event -Synthetic event)) : Korelasyon motoru tarafındna üretilen-Bir kurala bağlı olarak- olay

·         Sıkıştırılmış Olay (Compressed event) : Birden fazla aynı olayı temsil eden ama diğer olayları içermeyen olay

·         Komposit Olay (Composite event) :Korelasyon motoru tarafından üretilen ve ham olay,sonuç olayı vs.. içeren üst seviye olay

·         Alarm (alarm - alert): Üretilen uyarı mesajları

 

Gerçek Korelasyon Nedir?

Sistemlerden toparlanan çeşitli loglarda oluşabilecek şüpheli durumları tespit edebilmek için, logların ilişkilendirilebilmesi gerekmektedir.

Bilgi güvenliği ve olay yönetimi (SIEM) sistemleri sayesinde, insan gözünden kaçabilecek şüpheli olaylar logların ilişkilendirilmesiyle ortaya net bir şekilde çıkartılabilmektedir.

Her ne kadar, log yönetim sistemleriyle logları toplamak gerekli olsa da yeterli değildir.

Toplanan bu logların birbirleriyle ilişkilendirilmesi ve otomatik olarak analizlerinin yapılması gerekmektedir ve bu sebeple SIEM sistemleri büyük önem taşımaktadır. SIEM sistemlerinin en önemli özellikleri de korelasyon yetenekleridir.

Korelasyonun motorunun Türkiye’deki algısı ile global algı arasında ciddi bir fark oluşmuş durumda.  Temel algı farkları:

1.       Global olarak korelasyon in Memory olmalıdır.  Yani Korelasyon hafızada (in memory) yapılmalı. SQL sorgu şeklinde veri tabanı veya storage sistemi üzerinden yapılmamalıdır.  Bunun temel 2 sebebi vardır

a)      Sistemde tanımlı 100 lerce kural olsa her log geldiğinde bu yüzlerce kural için SQL sorgusu çalışırsa sistemin bunu kaldıramayacağı aşikârdır. Saniyede 1000 log gelen bir sistem için saniyede 1000 SQL sorgusu yapılması anlamına gelir ki bunun ne demek olduğunu azıcık veri tabanları üzerinde çalışmış olanlar bilir. Veri tabanının SQL, NoSQL veya tamamen özel de geliştirilmiş olsa bu yükü kaldırmaz ya da çok büyük sistem kaynakları ister. Bu tür analizler PoC sırasında fark edilemediği için bunun isterler listesi veya şartnameye aşağıdaki gibi bir madde eklenmelidir.

Korelasyon hafızada (in memory) yapılmalı. SQL sorgu şeklinde veri tabanı veya storage sistemi üzerinden yapılmamalıdır. SQL sorgu şeklinde yapılarak zaman kaybı veya yazma okuma ile ilgili bileşenlerden etkilenmemelidir.

b)      SQL sorgu şeklinde yapılarak zaman kaybı veya yazma okuma ile ilgili bileşenlerden etkilenmemelidir.

2.       Korelasyon Kuralları log veya log kaynakları arasında ilişkisel bağlantı kurabilmelidir. Örnek: Bir sunucuya bir kullanıcı login olmayı deneyip başarısız olduktan sonra 2 saat içerisinde aynı kullanıcı aynı sunucuya başarılı bir şekilde logon olmadı ise uyar gibi. Bu tarz ilişkisel kurallara örnekler:

·         Sistemde oluşan olaylar arasında “ve”, “veya”, “değil”, “group by”, “exist”, “count”   ilişkileri kurularak tanımlanabilen süre boyunca belirli olayların oluşması halinde özel bir korelasyon uyarısı oluşturulabilmelidir.

·         Birden fazla olay kayıdı üzerinde çalışıp aralarındaki kullanıcı tanımlı ya da ön tanımlı ilişkilere bakarak geçici veya nihai kararlar üretebilmelidir. Geçici kararlar üretebilmek için işlenen olay kayıtlarının ilişkisine bakarak yeni olay kayıtları üretebilmeli ve sistem tarafından üretilen bu özel olay kayıtları (correlation event) tekrar korelasyon motorunundan geçirilebilecek şekilde geri besleme kaydı olarak kullanılabilmelidir. Başka bir deyişle sistem kendi oluşturduğu olay kayıtlarını da korelasyona tabi tutabilmelidir

·         Korelasyon kuralı oluşumunda “eşittir, eşit değildir, içeriyorsa, içermiyorsa, büyüktür, küçüktür, başlıyorsa, bitiyorsa, boş ise, boş değil ise, distinct count” gibi ifadelerine bağlı olarak kurallar tanımlanabilmelidir.

·         Log/veri toplanan herhangi bir kaynağa ait bir olay gerçekleştikten sonra belirli bir süre içerisinde aynı Log/veri toplanan herhangi bir kaynağa ait farklı olaydan meydana gelmezse şeklinde tanımlama yapılabilmelidir.(Örn: Bir sunucuya bir kullanıcı login olmayı deneyip başarısız  olduktan sonra 2 saat içerisinde  aynı kullanıcı aynı sunucuya  başarılı bir şekilde logon olmadı ise uyar)

3.       Sistemin near real time çalışabilmesi. Bir korelasyon motoru kullanılmasının en temel sebeplerinden birisi olay olurken en kısa sürede bundan haberdar olmaktır. Bunu sağlamak için isterler listesi veya şartnameye yazılabilecek kural örneği:  Seçilen X makinesine Y kullanıcısı Z yazılımını kurduğu anda uyar tarzı gerçek zamanlı alarmlar üretebilmeli ve bu alarmlar merkezi log sistemine ulaşır ulaşmaz uyarıları üretmelidir.

4.       Sistemin Kural hazırlama sihirbazı. Buradaki global algı kullanıcıya ne kadar kolay bir arayız verilirse o kadar iyidir. Bu kullanıcının hem zaman kazanmasını sağlar hem de yazılıma özel br sorgu dili öğrenmesine gerek kalmaz. . Bunu sağlamak için isterler listesi veya şartnameye yazılabilecek kural örneği:  Sistemde kolay kural  hazırlamak için bir kural hazırlama sihirbazı bulunacaktır. Ve bu sihirbaz ile bu isterler listesi/şartnamedeki bütün kurallar herhangi bir özel sorgu yazma ihtiyacı olmadan görsel bir şekilde geliştirilebilecektir.

GELİŞTİRME KÜLTÜRÜ MÜ? RANT KÜLTÜRÜ MÜ?

GELİŞTİRME KÜLTÜRÜ MÜ? RANT KÜLTÜRÜ MÜ?

Dr. Ertuğrul AKBAŞ

ekbas@gmail.com

Yılda 6.5 milyar $ ile Ar-Ge desteğinin milli gelire oranı %1'e yaklaşıyor. Bununla birlikte

Dünya Patent Raporu’na göre  (2011) Türkiye’de 3.357  Patent başvurusu yapılmaktadır. Bu rakamlar ABD’de yılda 490 bin; Çin’de 391. 

Devlet AR-GE için bütçenin %1 ini dağıtıyor ama alınan her 100 patentten 96 sını Türkiye’de faaliyette olan yabancı şirketler alıyor [ http://gundem.milliyet.com.tr/100-patentten-94-u-yabancilara-ait-/gundem/ydetay/1771434/default.htm ].

O zaman akla şu 5 soru geliyor

1-Devlet bu bütçeyi dağıtırken ehliyete değil de başka ilişkilere mi bakıyor?

2-Devletin nitelik seçiminde problem mi var?

2-Bu bütçeleri Türk şirketleri kitabını uydurup alıyor ama patente dönüştürmüyor mu?

3-Türk şirketlerinde bu altyapı yok mu? Yok ise bu AR-GE Bütçelerini nasıl alıp harcayabiliyorlar? Denetim Yok mu?

4-Al parayı verdim AR-GE yap demekle AR-GE olmuyor mu? O zaman devleti yönetenler neyi eksik yapıyorlar?

Buraya ayrıca Sabah gazetesi yazarı Şeref Oğuzun tespitlerini de ekleyebiliriz.

[ http://www.sabah.com.tr/Yazarlar/oguz/2014/02/01/arastiriyoruz-ama-gelistiremiyoruz  ]

AR'aştırıyor fakat GE'liştiremiyoruz;

Zira farklı olandan korkuyoruz.
Bize benzemeyenden nefret ediyoruz.
Düello yerine pusu kuruyoruz.
Akıl yerine kurnazlığı seçiyoruz.
Sabır yerine telaşa kapılıyoruz.
Merak yerine biatı seçiyoruz.
Bilgi yerine kanaat ile yetiniyoruz.
Özgün yerine taklide sapıyoruz.
Kazan yerine kaybet tuzağındayız.
Ödül yerine cezayı benimsiyoruz.

İş yapma tarzımız ve kültürel engeller yetmiyormuş gibi, bize icat çıkarmak için verilen para ile çakallık yapıyoruz.
Ar-Ge parasıyla dövizi çıldırtıyoruz.
Ar-Ge parasıyla repo yapıyoruz.
Ar-Ge parasıyla kendi devletimizi dolandırıp duruyoruz.
Ar-Ge parasıyla icat çıkarmıyor, şeytani inovasyon yapıyoruz.
Tam da bu sebepten sizin "cari açık" dediğinize ben "akıl ve vicdan açığı" diyorum.
Netice; Ar-Ge'ye destekten vaz mı geçelim? Asla…
Ancak vahşi sulama yerine damla sulama modelindeki gibi verdiğimiz teşvikleri daha akıllı izleyelim, ölçelim, bilelim yönetelim...

Her tarafa teknoparklar kuruyoruz. Amaç Silikon vadisi olmak. Silikon vadisini bir inşaat ve vergi muafiyeti olarak görmek çok yanlıştır. Böyle bir projenin arzulanan amacına ulaşma şansı yoktur. Silikan vadisi konseptinin bir kültür ve yaşam tarzı olduğunu bilmek lazım. En iyi olup en iyiyi bilmeden çeşitli vergi muafiyetleri ve dsteklerle 10,15 yıl bir te4knoparkta kalarak AR-GE kültürü oluşmuyor. Devlet balık tutmayı öğretmiyor. Herkese balık dağıtıyor.

Silikon vadisi demek girişimci kültürü demektir

Silikon vadisi bir ekosistemdir.

Silikon vadisi aynı zamanda bir finansman makinesidir.

Ayrıca denemekten kaçınan bir toplumu defalarca deneyebilen bir kültüre evirmenin adıdır Silikon Vadisi.

Sorulara devam edersek iş adamları ve müteşebbisleri bu kadar RANT ve yolsuzluğu alıştırırsak vahşi sulama ile bütün suyun kendilerine akmasını isteyeceklerdir.  [http://www.radikal.com.tr/yorum/turk_saginin_atar_damari_yolsuzluk_ve_rant-1168895 ]

Ayrıca bütün dinamiklerinizi Tuğla ekonomisi üzerine oturtursanız kimse akıl ve ter ile para kazanmaya yönelmez. İltifat marifet ilişkisi daima hatırda tutulmalı.

Mehmet Altan’dan alıntı yaparsak

“1998’den günümüze tasarrufların milli gelire oranı yüzde 50 azalırken memleketin şehirleşme oranı hızla artmış.Konut edinmek için yapılan harcamalar da bugün yüzde 140 artmış durumda…

İmarlaşma, hoştur, güzeldir, iyidir, yahşidir…Ama Bakanlar Kurulu’nun aldığı tüm kararların yüzde 60’ını imar kararları oluşturmaya başlayınca, yerleşik endişeler biraz daha kabarıyor.

İmarlaşalım, amenna…Ama biraz da reformlaşalım, sanayileşelim, nano teknolojileşelim, patentleşelim…”

Devlet AR-GE desteği verelim bu desteği alanlar bir zaman gelir para biriktirir, zengin olur gerçekten Ar-Ge yapar diye düşünürse tamamen hata yapar sadece AR-GE yapabilme ışığı olanları da hazır paraya alıştırır ve bu hazır paranın peşinde koşar hale getirir. Bunu yukarıda tuğla ekenomisi kısmında açıklamaya çalıştığım şekilde devlet yaptı hatta 3. Köprüyü yapacak konsorsiyumdaki bazı inşaat firmalarına 100 milyar TL lik devlet ihalesi verdi ama hala bu konsorsuyum 3. Köprünün tasarımını Fransa ya ihale etti [ http://ekonomi.milliyet.com.tr/3-kopru-icin-finansman-sozlesmesi/ekonomi/detay/1758544/default.htm  ]

[ http://tr.wikipedia.org/wiki/Yavuz_Sultan_Selim_K%C3%B6pr%C3%BCs%C3%BC  ]

Al parayı verdim AR-GE yap demekle AR-GE olmadığını hepimiz kendi etrafımızdan da teyit edebiliriz. Memleketimizin en iyi üniversitelerinin en iyi mühendislik bölümlerinden mezun olanlar ya satışa kayıyor ya da yönetici pozisyonuna geçmeye çalışıyor. Ve bunların hiçbirisi Türk sanayi şirketlerinde olmuyor. Ya yabacı şirketlerde ya da Türkiye’de kurulmuş satış,pazarlama veya hizmet sektöründeki firmalarda oluyor çünkü sanayici yok denecek kadar az. Olanların da ne kadarı kendisi geliştiriyor ne kadarı yurtdışından ithal ettikleri üretim ve imalat teknolojileri ile üretim yapıyorlar.

Mühendisler, Türkiye sanayisizleştiği için mühendislik yapamıyorlar.Televizyon dizileri bir gerçeği yansıtıyor. Toplum neyi seyrediyorsa, öyle oluyor .

[ http://www.radikal.com.tr/yazarlar/guven_sak/turkiyede_muhendisler_ne_is_yapiyor-1116908 ]

Üretimle ilgili toplumsal algı bitmiştir. Bu günlerde Türk televizyon dizilerinde faal tek sanayici figürü 1970’leri anlatan ‘Öyle Bir Geçer Zaman Ki’ dizisindedir. Pek çok katma değerli sektördeki firma sahibi ya firmalarını satıp tuğla ekonomisine geçmiş ya da kendilerinin ana faaliyet alanını tuğla ekonomisi yapmıştır.

Bütün bunlar politik olarak teknolojik ve mühendislik rekabetin nerdeyse “0” olduğu tuğla ekonomisine yapılan yatırımın sonuçlarıdır. Belki birileri müthiş zengin oldu, RANT VE RÜŞVET çarkı kuruldu ama karşılığında Üretimle ilgili toplumsal algı bitti.