Обработка больших данных с помощью Spark и Scala

По мере того, как объемы данных растут экспоненциально, традиционные методы обработки часто не удовлетворяют современным потребностям бизнеса. Этот курс предоставляет четкий путь к пониманию того, что распределенные вычисления решают эти проблемы, используя мощность Spark и языка программирования Scala. Вы приобретете навыки, необходимые для преобразования необработанных данных в практические выводы с использованием высокопроизводительных рамок. К концу этого курса вы сможете разрабатывать и внедрять логику обработки данных, которая масштабируется между кластерами, обеспечивая надежность и скорость в любой среде, основанной на данных. Что вы узнаете: - Понимание архитектуры Spark и ее улучшения по сравнению с унаследованными моделями MapReduce - Изучите основы программирования Scala, адаптированные для инженерии больших данных - Мастер Устойчивых Распределенных Наборов Данных (RDD) и современных Spark DataFrames - Применять Spark SQL для выполнения сложных запросов на структурированных и полуструктурированных данных - Настройка и управление кластерами Spark для выполнения распределенной рабочей нагрузки - Исследуйте Spark Structured Streaming для обработки потоков данных в реальном времени - Практика методов оптимизации данных для повышения производительности трубопровода Курс начинается с основных терминов и основополагающих принципов распределенных систем. Затем вы пройдете письменные объяснения и упражнения на основе кода, которые охватывают все, от основных операций с данными до продвинутой интеграции SQL и обработки потоков. Этот курс предназначен для начинающих, начинающих инженеров данных и аналитиков, желающих перейти на работу с большими данными. Для начала не требуется предыдущий опыт работы со Spark или Scala. Начните накапливать опыт в архитектуре больших данных уже сегодня.