転職・求人情報の詳細をご覧になる場合は会員登録(無料)が必要です
| 部署・役職名 | 【シニアデータエンジニア】 デジタルバンク_東京 |
|---|---|
| 職種 | |
| 業種 | |
| 勤務地 | |
| 仕事内容 |
DatabricksネイティブツールおよびREST APIを使用した、複数のソースシステムからデータを取り込むためのデータパイプラインの設計および実装 データ品質、整合性、パフォーマンスを確保したDatabricks上でのBronze/Silver/Goldレイヤーの変換処理の構築および保守 データ品質チェックおよびシステム間の照合(Reconciliation)ロジックの実装 dbtまたは類似ツールを使用したSQLクエリおよび変換処理の開発・最適化 分析およびレポート作成(ALM、ERM、規制報告)のためのデータモデルの設計および実装 下流のコンシューマー向けたREST APIまたはデータ提供レイヤーの構築 データプラットフォームコンポーネントのアーキテクチャ選定への参加 パイプラインの単体テスト、統合テスト、データ品質テストの記述 データパイプラインのパフォーマンス監視、障害対応、および改善の実装 パーティショニング戦略、Z-ordering、クエリチューニングによるクエリパフォーマンスの最適化 Terraformを使用したデータプラットフォームコンポーネントのInfrastructure as Code(IaC)の実装 データパイプラインの自動テストおよびデプロイのためのCI/CDパイプラインのセットアップ ミドルレベルエンジニアへのメンタリングおよびコードレビューの実施 チームのためのドキュメント作成およびベストプラクティスへの貢献 APIコントラクトおよびデータスキーマ定義におけるバックエンドエンジニアとの連携 プラットフォーム設計および技術選定におけるテクニカルリードとの連携 データプラットフォーム内での機能開発およびイニシアチブの主導 開発体制 銀行業界のパートナーと緊密に連携しながら、少人数のアジャイルなチームで運営しています。MIDASチームは急速に拡大しており、年内に10名以上のデータエンジニア体制を目指しています。 技術スタック クラウドインフラ:AWS(東京リージョンのプライマリクラウドプラットフォーム) S3:VPCネットワーキングによるセキュアな接続を備えたデータレイクストレージ AWS IAM:セキュリティおよびアクセス管理 データレイクハウスアーキテクチャ: Delta Lakeを使用した最新のレイクハウスアーキテクチャ(ACIDトランザクション、タイムトラベル、スキーマ進化に対応) 分析に最適化されたカラムナストレージ形式(Parquet) 段階的なデータ精製のためのBronze/Silver/Goldメダリオンアーキテクチャ クエリパフォーマンスのためのパーティション戦略およびZ-ordering Unity Catalogによる一元的なガバナンスとメタデータ管理 オーケストレーション&処理: Databricks Workflowsによるマネージドワークフローオーケストレーション Databricksクラスタ上のApache Sparkによる分散データ処理 コスト最適化のためのサーバーレスコンピュートおよびオートスケーリングクラスタ Databricks AutoLoaderを使用したストリーミングおよびバッチ取り込みパターン データ変換: dbt(data build tool):SQLベースのアナリティクスエンジニアリング Delta Live Tables:データ品質機能を内蔵した宣言的ETLパイプライン データ変換のためのSQLおよびPython 効率化のための増分マテリアライゼーション戦略 クエリ&アナリティクス: Databricks SQLによる高性能アナリティクスクエリ 変動するワークロードに対応するサーバーレスおよびオートスケーリングSQLウェアハウス 変動するワークロードに対応するコンピュートのオートスケーリング クエリ結果のキャッシュと最適化 下流のコンシューマーへデータを提供するためのREST API データ品質&ガバナンス: Delta Live Tables ExpectationsおよびGreat Expectationsによる自動化されたデータ品質管理 システム間の照合(Reconciliation)および検証ロジック Unity Catalogを使用したカラム/行レベルのセキュリティによるきめ細かいアクセス制御 規制遵守のための自動データリネージ追跡 監査ログおよび10年間のデータ保持ポリシー ビジネスインテリジェンス: Amazon QuickSight および/または Databricks SQL Dashboards エンタープライズBIツールとの統合(Tableau, PowerBI, Looker) 使用ツール バージョン管理:GitHub CI/CD:GitHub Actions Infrastructure as Code:Terraform モニタリング:Databricks monitoring, AWS CloudWatch integration AI開発支援:Claude Code, GitHub Copilot, ChatGPT |
| 労働条件 |
勤務時間 始業および終業の時刻は従業員の決定に委ねる。(休憩時間60分) ・フレキシブルタイム:7時00分〜22時00分 ・コアタイム:10時00分〜15時00分、9時30分〜14時30分 ※業務の都合により変更する場合あり ※所定時間を超える労働あり 休日・休暇 ■土曜日・日曜日・国民の祝日 ■年次有給休暇 ■夏季休暇(3日) ■冬季休暇(2日) ■年末年始休暇(12月31日〜1月3日) |
| 応募資格 |
【必須(MUST)】 データエンジニアリング(データフォーカス)またはアナリティクスエンジニアリングにおける5年以上の経験SQLおよびPythonの高い習熟度 最新のツール(Databricks、Spark、dbt、または類似ツール)を使用したデータパイプライン構築のハンズオン経験 Databricksでの開発経験およびAWSクラウド環境での経験 ディメンショナルモデリング、Data Vault、またはイベント駆動型アーキテクチャを含むデータモデリング技術の深い理解 データ品質検証およびテストフレームワークの経験 低速なクエリやデータ処理ジョブのデバッグおよび最適化能力 バージョン管理(Git)およびCI/CDパイプラインの経験 データガバナンスの概念(アクセス制御、監査ログ、データリネージ)の理解 高い問題解決能力および自律的に業務を遂行する能力 ジュニアまたはミドルレベルエンジニアのメンタリング経験 クロスファンクショナルチームと連携するための優れたコミュニケーションスキル コンピュータサイエンス、工学、または関連分野の学士号、もしくは同等の実務経験 求める語学力 日本語要件:ビジネスレベル(流暢、クライアントとの日本語でのコミュニケーションが可能) 英語要件:(TOEIC 700点以上) ※TOEIC以外にも英語力がわかる資格や経験をお持ちの方はご相談ください 例:英検準1級、英検2級(英検CSEスコア1950以上)、TOEFL iBT 60以上、IELTS 5.0以上、ケンブリッジ英語検定FCEなど ※その他、英語力がわかる資格や経験については応相談 ※TOEIC 700点相当以上の資格をお持ちでない方については選考の過程で弊社指定の試験を受験いただきます。(原則、一次面接後を想定) 【歓迎(WANT)】 金融サービス、フィンテック、またはその他の規制産業での経験銀行ドメインの概念に関する知識:勘定系システム(Core Banking)、決済処理、規制報告、AML/取引モニタリング 規制要件(FISC安全対策基準、金融庁/日銀レポート、GDPR、APPI)に準拠したデータプラットフォームの実装経験 金融データにおけるシステム間照合(Reconciliation)の実装経験 パフォーマンスチューニングの経験:パーティショニング戦略、クエリ最適化、コスト管理 データ提供のためのPython(FastAPI、Flaskなど)を使用したREST APIの構築経験 ストリーミングデータパイプライン(Kafka、Kinesisなど)の知識 Terraformの経験 オープンソースのデータエンジニアリングプロジェクトへの貢献 BIツール(QuickSight、Tableau、Looker、PowerBI)の経験 設計から実装まで技術的なイニシアチブを主導した経験 データプラットフォームのパフォーマンス改善またはコスト削減の実績(具体的な指標があれば尚可) AIの開発経験もしくはAIツールを使用した開発経験 チームや社会に貢献することにコミットできる方。 |
| リモートワーク | 可 「可」と表示されている場合でも、「在宅に限る」「一定期間のみ」など、条件は求人によって異なります |
| 受動喫煙対策 | 喫煙室設置 |
| 更新日 | 2026/02/19 |
| 求人番号 | 7481732 |
採用企業情報

- 企業名は会員のみ表示されます
- 会社規模501-5000人
この求人の取り扱い担当者
-
- ?
- ヘッドハンターの氏名は会員のみ表示されます
会社名は会員のみ表示されます
-
- コンサルティング IT・インターネット メーカー
-
転職・求人情報の詳細をご覧になる場合は会員登録(無料)が必要です
