Databricksのサンプルノートブックを格納しています。基本的にpyファイルを格納しているので、DatabricksのReposで連携することができます。
- DBFS: Databricksのファイルシステム、Databricks File System(DBFS)を説明したサンプルノートブックです。
- LibraryManagement: DatabricksにおけるPythonライブラリの種類を説明したサンプルノートブックです。
- matplotlib: Databricksにおけるmatplotlibの日本語フォント対応のサンプルノートブックです。
- spark_qs_python: PythonにおけるSparkクイックスタートのノートブックです。
- spark_dataframe_qs: Spark Dataframeクイックスタートのノートブックです。
- spark_ml_tutorial: Spark MLチュートリアルのノートブックです。
- pandas_to_Koalas: Koalasチュートリアルのノートブックです。
- spark intro part1: Spark Introdcution Part1のノートブックです。
- JEDAI_1st: JEDAI第一回でデモしたノートブックです。
- datadog: DatadogによるDatabricksクラスター監視のサンプルノートブックです。
- synapse_integration: DatabricksとSynapseの連携のサンプルノートブックです。
- digital_pathology: WSIから癌細胞を検知するサンプルノートブックです。
- ray_mlflow: RayとMLflow連携のサンプルノートブックです。
- covid-19: COVID-19データセット分析のサンプルノートブックです。
- delta_live_tables: Delta Live Tablesのサンプルノートブックです。
- genomics_pipeline: ゲノミクスパイプラインのサンプルノートブックです。
- Feature_Store: Databricks Feature Storeのサンプルノートブックです。
- comparison_w_jupyter: Jupyter notebookと比較したDatabricksの良いところを説明したノートブックです。
- ecg_deeplearning: 心電図データにディープラーニングを適用し、心臓疾患を予測します。
- PyMC3_covid: PyMC3を用いてCOVID-19の基本再生産数を推定するノートブックです。
- glow: Glowによる大規模遺伝子データの並列処理を行うノートブックです。
- reproducible_ml: MLflow、Delta Lakeによる機械学習の再現性確保をデモするノートブックです。
- delta_live_tables_quickstart: Delta Live Tablesクイックスタートノートブックです。処理結果のデータ、ログを確認できるようになっています。
- 既存Deltaテーブルを起点としたパイプラインのサンプル(20210727_delta_live_tables_for_existing_table.dbc)も含まれています。
- Delta Live Tablesクイックスタート - Qiita
- mlflow_end_to_end: MLflowによる機械学習モデル管理のエンドツーエンドのサンプルです。
- image_data_source: 画像データソースのサンプルです。
- petastorm_aws_tensorflow: PetastormのTensorflowコンバーターのサンプルです。
- mlflow_automl_ensemble: MLflow、AutoMLを用いたアンサンブルモデル構築のサンプルです。
- DNS_Analytics: DNS分析による脅威検知のサンプルノートブックです。
- suspicious_behavior_detection: 動画における不審な行動を検知するサンプルノートブックです。
- ml_quickstart: Databricksにおける機械学習のクイックスタートのノートブックです。
- Concurrent Notebooks: ノートブックの並列実行のサンプルノートブックです。
- spark_pandas_api: SparkのPandas APIのサンプルノートブックです。
- AutoML_forecast: AutoML時系列予測のサンプルノートブックです。
- GPU_huggingface_production: GPUデバイスにおいてHuggingfaceを用いた感情分析のサンプルノートブックです。
- zip_file: Databricksにおけるzipファイルの取り扱いを説明したノートブックです。
- AQE_demo: Adaptive Query Executionのデモノートブックです。
- jedai_5th
- Databricksユーザー会第5回で使用したDNS脅威検知のサンプルノートブックです。
- DNS分析を通じたサイバー犯罪の検知 - Qiita
- hyperopt_best_practice: Hyperoptベストプラクティスのノートブックです。対象データのサイズに応じたガイドを説明しています。
- oss_delta_sharing: OSS版Delta Sharingのデモノートブックです。
- pandas_udf: pandas UDFのデモノートブックです。
- mecab_sample: MeCabのサンプルノートブックです。
- dlt_udf: Delta Live TablesにおけるUDFの活用方法を説明したノートブックです。
- autoloader_parquet: Parquetファイルに対するAuto Loaderのサンプルです。CSV向けのものも入っています。
- html_d3_svg: ノートブックでHTML/SVG/d3を活用するサンプルです。
- notebook_dashboard: ノートブックでダッシュボードを作成するサンプルです。htmlファイルをインポートすることで、保持されているダッシュボード、グラフの設定も読み込むことができます。pyファイルではダッシュボード、グラフの設定は保持されていません。
- ML_IoT_device: IoTデバイスのデータに対して機械学習モデルを適用するサンプルノートブックです。
- model_sharing: 複数ワークスペースで機械学習を共有する手順を説明したサンプルノートブックです。
- opencv: OpenCVのサンプルノートブックです。
- delta_optimize: Deltaの最適化のサンプルノートブックです。
- quickstart_ds: DS向けDatabricksクイックスタートのノートブックです。
- pytorch_serving: PyTorchの画像分類器をMLflowでトラッキング、サービングするサンプルです。
- mlflow_quickstart_training_logging: MLflowを用いたトレーニングのロギングを説明するサンプルです。
- mlflow_quickstart_sagemaker_deployment: SageMakerにモデルをデプロイするサンプルノートブックです。
- jobs_walkthrough: Databricks Jobsをウォークスルーするノートブックです。
- custom_model_sagemaker: カスタムモデルをSageMakerエンドポイントにデプロイするノートブックです。
- BigARTM: トピックモデリングライブラリBigARTMのサンプルノートブックです。
- tensorflow_keras_quickstart: TensorFlow Kerasクイックスタートノートブックです。
- image_similarity: 類似画像に基づくレコメンデーションのサンプルノートブックです。
- DLT_eventlog: Delta Live Tablesのイベントログに対するクエリーのサンプルノートブックです。
- python-chart-graph: Pythonにおけるチャート、グラフのサンプルノートブックです。
- labelbox: Labelbox連携のサンプルノートブックです。
- 20220421_NLP_webinar: NLPウェビナーで使ったノートブックです。
- repos_arbitrary_files: Reposにおける任意のファイルの取り扱いを説明したノートブックです。
- MLlib_tutorial: MLlibチュートリアルノートブックです。
- time_series_feature_table: Feature Storeで時系列データを取り扱うサンプルノートブックです。
- distributed_LDA: Spark NLPとMLLibを用いた分散LDAのサンプルです。
- market_basket_analysis: Instacartのデータを用いたマーケットバスケット分析のサンプルです。
- pyspark_observable_api: PySparkにおけるObservable APIのサンプルです。
- databricks_sample_datasets: Databricksサンプルデータセットを操作するノートブックです。
- databricks_datasets_datail: Databricksサンプルデータの詳細を調査するノートブックです。
- pyspark_for_beginners : PySparkの基本的な操作を説明したノートブックです。
- ce_image_analysis: Community Editionで画像分析を行うサンプルノートブックです。もちろん完全版Databricksでも動作します。
- hyperopt_sparktrial: Hyperopt + SparkTrialsのサンプルノートブックです。
- ipywidgets: ipywidgetsのサンプルノートブックです。
- azure_adls_passthrough: Azure Databricksで資格情報パススルーが設定されたADLS上のzipファイルを操作するサンプルです。
- spark_sfc_fire_call: サンフラシスコの消防署通報データをPySparkで分析するサンプルです。
- mlflow_ce: Community Edition向けMLflowサンプルノートブックです。
- spark_streamin_end_to_end: センサーデータを対象としたストリーミング処理のサンプルです。
- dbfs_zip_download: DBFS上のファイルをzipで圧縮してダウンロードするサンプルです。
- ipywidgets_advance: ipyleafletをメインで使用しているサンプルです。
- H3_expressions: H3エクスプレッションのサンプルノートブックです。
- OSRM: Open Source Routing Machineのサンプルノートブックです。
- OSRM_Japan: OSRMを日本地図で試しているサンプルノートブックです。
- mlflow_notebook_gallery: MLflow logging APIのサンプルノートブックです。
- higher_order_function: 高次関数のサンプルノートブックです。
- bloom_filter_index: Bloom filter indexのサンプルノートブックです。
- JEDA_study_meeting_1st: JEDAI第一回勉強会で使用したノートブックです。