EGT5023
BÜYÜK VERİ ANALİTİĞİ ONLİNE EĞİTİMİ
Eğitim Büyük Veri felsefesinin anlatıldığı bir giriş bölümü ile başlayacaktır. Programımızın ana eksenini ise literatüre dönük çalışmalar oluşturmakta olup, tüm meslek disiplinlerinin Büyük Veri tanışmasına yardımcı olacak bir içerik ve bağlam oluşturmaktadır.
Etkinlik Tarihi
20.07.2023
- Saat: 13:30 - 16:30
- Son Kayıt Tarihi: 20.07.2023
- Kalan Kontenjan: 431
Büyük Veri Analitiği Online Eğitimi
20 Temmuz 2023
13:30 - 16:30
Programın amacı Büyük Veri Analizi konusunda bilgi sahibi kişiler yetiştirmektir. Bu kapsamda eğitimi alanlar Büyük Veri Analiz sürecini öğrenecek ve Hadoop Ekosistemini yakından tanıma imkânı yakalayacaklardır. Program, Büyük Veri felsefesinin anlatıldığı bir giriş bölümü ile başlayacaktır. Programımızın ana eksenini ise literatüre dönük çalışmalar oluşturmakta olup, tüm meslek disiplinlerinin Büyük Veri tanışmasına yardımcı olacak bir içerik ve bağlam oluşturmaktadır. Eğitimi alan kişiler bu atölyede deneyimli bir yürütücüyle birlikte çeşitli teorik ve uygulama çalışmaları hakkında bilgileneceklerdir. Bununla birlikte programın sonunda sıfırdan bir Büyük Veri uygulaması geliştirme ve bu uygulamanın analizi ile alakalı program yürütücüsünden bilgi alma ve soru/cevap yapma imkânı yakalayacaklardır.
BÖLÜM 1: Büyük Veriye Giriş
Tanımı ve tarihçesi
Büyük Veriyi Geleneksel Modellerden Farklılaştıran Yönler
Temel Büyük Veri Yapıları
Dağıtık hesaplama nedir?
Dağıtık depolama nedir?
Hadoop temel bileşenleri
o Hadoop Distributed File System (HDFS)
o Yet Another Resource Negotiator (YARN)
o MapReduce
Hadoop ve bulut servisleri ilişkisi
BÖLÜM 2: Apache Servislerine Giriş
Hive nedir? Amaçları nelerdir?
Hive external table nedir? Amazon Athena ile benzerlik ilişkisi
Federated Query nedir?
Text, orc, parquet gibi dosya formatları nedir? Uygun veri formatının sorgu performansı ile ilişkisi nedir?
İlişkisel veri tabanı (mysql) ile HDFS ve Hive arasındaki veri transferi nasıl gerçekleşir?
Scoop nedir? Import/Export işlemleri
Apache Kafka / Zookeeper ilişkisi ve örnek problemler
BÖLÜM 3: Büyük Veri Programlama
Apache Spark kurulumu ve Google Colab üzerinde kullanımı
Anaconda Navigator ve IntellijIDEA kurulumu
Apache Sparkı distributed SQL Engine olarak kullanma
Spark-submit, deployment modes, options, packages, confs, jars
Apache Spark optimizasyon teknikleri, ihtiyaca uygun executor büyüklüğü ve sayısının belirlenmesi
Data Warehouse, Data Lake ve Lakehouse kavramları
Spark Streaming
Pyspark ve örnek uygulamalar
BÖLÜM 4: Data Warehouse, Data Lake, Lakehouse kavramları
Data Lake ile RDBMS buluştuğu nokta : Delta Lake
Büyük Veride SCD Type-2 kavramı
Gerçek zamanlı veri işleyen sistemlerin özellikleri
Spark Structured Streaming
o Spark Streaming Kafka Entegrasyonu
o Kafkadan mesaj okuma, işleme ve tekrar Kafkaya yazma
o Spark Streaming hata işleme / kaldığı yerden devam etme işlemleri
o Dizinde biriken log dosyalarını anlık işleme
Gerçek zamanlı işlenen veriyi SQL veri tabanına yazma
Stateful ve Stateless işlemler
Streaming akış hızını ayarlama
Zaman penceresi bazlı gruplamalar : Time Window ve Slide Size
Apache Airflow hakkında genel bilgilendirmeler
Hedef Kitle: Genel katılım
Eğitim 20 Temmuz 2023 tarihinde 13:30-16:30 saatleri arasında gerçekleştirilecektir.
Zoom altyapısı kullanılarak yapılacak eğitimde, eğitim günü katılımcılarımıza katılım linki gönderilecektir.
Eğitim günü, başlama saatinden 10 dakika öncesinden linke tıkladığınızda eğitimin yapılacağı sınıfa girmiş olacaksınız.
https://zoom.us/download sitesinden Zoom programını yükleyebilirsiniz.
Eğitim Yeri: Online / Zoom
Ücret ve Kayıt:
Eğitime katılım ücretsizdir.
Eğitimci: Doğu Sırt
Doğu SIRT, 1989 yılında İstanbulda doğdu. 2007 yılında Kuleli Askeri Lisesini bitirdi. 2008 yılında başladığı Karadeniz Teknik Üniversitesi Bilgisayar Mühendisliği ve Anadolu Üniversitesi İşletme Bölümlerini 2013 yılında tamamlayarak aynı yıl Yüksek Lisans eğitimine Gebze Teknik Üniversitesi Bilgisayar Mühendisliği Anabilim Dalında başladı. Akademik hayatına 2014 yılında T.C. Beykent Üniversitesinde Araştırma Görevlisi olarak başlayan Doğu Sırt, 2015 yılından itibaren ise İstanbul Teknik Üniversitesi Bilgisayar ve Bilişim Fakültesinde Öğretim Görevlisi olarak çalışmaktadır. Gebze Teknik Üniversitesi'ndeki Yüksek Lisans eğitimini 2017 yılında tamamlayarak, aynı yıl Milli Savunma Üniversitesi Atatürk Stratejik Araştırmalar ve Lisansüstü Eğitim Enstitüsü Bilgisayar Mühendisliği Anabilim Dalı'nda Doktora eğitimine başlamıştır. 2023 yılı bitimi itibariyle Doktora eğitimi tamamlanacaktır.
