PythonとSparkを用いた実践的なデータ分析

従来のツールでは処理できないほどの大規模なデータセットや遅いデータセットに圧倒されていますか？PythonとApache Sparkを使って分散コンピューティングの力を活用して大量の情報を効率的に処理する方法を学びます。 テキストベースのPySparkの基礎を学び、コアコンセプトから実際のデータ分析アプリケーションの構築と実行までを指導します。明確な書面による説明と実践的な演習を通じて、生データの変換、複雑な集約の実行、分散システム上でのスケーラブルな実行のためのコードの構成を実践します。 学ぶことは 分散実行とレイジー評価を含むＳｐａｒｋアーキテクチャの核となる概念を理解する。 構造化データの効率的な操作，フィルタリング，集積化を行うための，最新のデータフレームＡＰＩを習得する。 ＰｙＳｐａｒｋの豊富な変換とアクションを用いて実用的なデータ処理パイプラインを構築する。 強力なSpark SQLエンジンを用いて大規模なデータセットを対話的にクエリします。 また，Ｓｐａｒｋの構造化ストリーミングを用いたリアルタイムデータ処理の基本を学ぶ。 また，Ｌａｋｅｈｏｕｓｅアーキテクチャの基本とトランザクションデータストレージの概念を説明した。 クラスタ上でのＳｐａｒｋアプリケーションの実行を行う。 まず、Sparkの基本的な用語と基本原理を説明し、次にDataFrames、SQL、ストリーミングを用いた実践的な演習を行います。ステップバイステップにスキルを構築し、複雑なデータの課題に取り組む準備をします。 このコースは初心者向けに設計されています。Pythonの基本的な知識は有益ですが、ビッグデータフレームワークや分散コンピューティングの経験は必要ありません。 今日からビッグデータ分析の世界への旅を始めましょう。