転職・求人情報の詳細をご覧になる場合は会員登録（無料）が必要です
| 部署・役職名 | AI Evaluation Scientist |
|---|---|
| 職種 | |
| 業種 | |
| 勤務地 | |
| 仕事内容 |
AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 評価メトリクスの研究開発 — LLM－as－Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します 自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します 統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します 評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します このポジションの魅力 Evaluation Science の実践 : Apple・Anthropic・Scale AI・Google DeepMind 等が注力する「AI 評価科学」を、日本のエンタープライズ AI の文脈で実践できます。評価手法そのものを研究対象とする、世界的にも希少なポジションです ML/DS スキルの新しい応用 : 機械学習・統計学の専門性を「モデル開発」ではなく「モデル評価」に応用します。報酬モデリング、LLM－as－Judge の校正理論、ベンチマーク設計など、研究と実装の両面で知的挑戦があります 品質がプロダクトの信頼を決める : 約200社が利用する本番環境で、あなたが構築した評価基盤がリリース品質の最後の砦になります。品質保証がビジネスインパクトに直結する手応えを実感できます 新設ポジション : AI エージェントの品質評価科学という新しい専門領域を、ゼロから設計・構築できます。評価メトリクスの研究開発から自動評価パイプラインの本番実装まで、大きな裁量を持って取り組めます AI安全性の最前線 : 自動レッドチーミング、adversarial testing、ポリシー準拠検証など、Responsible AI の実践に携われます。AI エージェントが「企業の脳」として業務を自律実行する世界で、安全性を科学的に保証する役割を担います 急成長環境 : 設立3年で200名以上の規模、9プロダクト展開のスタートアップで、技術的意思決定に大きな裁量を持てます。Research Engineer や Agent Harness Engineer と密接に連携し、プロダクト全体の品質に影響を与えるポジションです 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 （Evaluation Infrastructure） の設計・構築・運用をリードしていただきます。 評価メトリクスの研究開発 LLM－as－Judge の校正手法の研究・実装 （rubric 設計、バイアス検出、proper scoring rules） 評価ベンチマークの設計・構築・妥当性検証 （construct validity、contamination detection） 報酬モデリング / preference learning の評価への応用研究 評価メトリクスの選定・設計 （win rate、task success、factuality、harm detection） 評価セット （合成データ ＋ 実ログ） の設計・構築・メンテナンス 自動評価パイプラインの設計・構築 スケーラブルな自動評価パイプラインの設計・実装 CI/CD への評価パイプライン組込みと品質ゲートの構築 エージェント評価ハーネスの設計 （マルチターン・ツール利用・ロングコンテキスト対応） 評価パイプラインの再現性・信頼性の担保 安全性・品質検証 自動レッドチーミング （automated adversarial testing） の研究・実装 安全性 / ポリシー準拠の検証フレームワーク構築 ハルシネーション検出・校正手法の研究・実装 プロンプト / ツール回帰テストの設計・実行 統計分析・実験設計 統計的実験計画 （A/B テスト、有意差検定） の設計・分析 品質トレンドの可視化・回帰検出の自動化 品質レポート作成と改善提案 評価シグナルの研究・開発チームへのフィードバック |
| 労働条件 |
完全週休2日制（休日は土日祝日） 年間有給休暇10日～20日（下限日数は、入社半年経過後の付与日数となります） 年間休日日数120日 休暇：年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日～1月3日）、慶弔休暇 ※昇給機会年2回（4月、10月）、賞与年2回（5月、11月） ※給与は経験・能力により応相談 ※50時間を超える時間外手当は別途支給 なお、固定残業代を支給しておりますが、この時間分働かないといけないということではありません。 業務効率の向上や社員の安定した収入のために支給しています。 |
| 応募資格 |
【必須（MUST）】 コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上 LLM / 生成AIの評価手法に関する深い知識 統計学・実験計画法の実践的知識 Pythonでの ML / 評価パイプライン構築経験 機械学習フレームワーク（PyTorch, JAX, TensorFlow等）の実務経験 評価メトリクスの設計・実装経験 言語レベル : いずれか必須 日本語 : Fluent （プロダクト開発において齟齬なく議論を行えるレベル） 英語 : ビジネスレベル 本ポジションはAI出力の評価科学（Evaluation Science）を担う研究開発職です。MLモデル評価・LLM評価における研究または実装経験を必須としています。 【歓迎（WANT）】 ML / NLPトップカンファレンス（NeurIPS, ICML, ICLR, ACL, EMNLP等）での論文発表経験報酬モデリング / preference learning（RLHF, DPO等）の研究・実装経験 LLM－as－Judge の校正・rubric設計の経験 AI安全性・Responsible AI・レッドチーミングに関する知識・経験 ベンチマーク設計・妥当性検証（IRT, construct validity）の経験 マルチエージェント・ワークフロー / ツール利用 / ロングコンテキストの評価経験 大規模データ処理（Spark / BigQuery等）の経験 CI/CDパイプラインへのML/評価パイプライン組込み経験 論文読解・再現実装の能力 英語での技術コミュニケーション能力 |
| リモートワーク | 可 「可」と表示されている場合でも、「在宅に限る」「一定期間のみ」など、条件は求人によって異なります |
| 受動喫煙対策 | 屋内禁煙 |
| 更新日 | 2026/07/28 |
| 求人番号 | 9298591 |
採用企業情報
- 企業名は会員のみ表示されます
- 会社規模501-5000人
この求人の取り扱い担当者
-
- ?
- ヘッドハンターの氏名は会員のみ表示されます
会社名は会員のみ表示されます
-
- コンサルティング IT・インターネット メーカー
-
- リクルートでデータ活用や機械学習を活用した施策展開を推進してきた現場知見を活かし、キャリアアドバイスを行っています。 現在は経営者として、社員であるデータサイエンティストと関わっており、現場と経営双方の視点からご支援が可能です。
- (2025/03/05)
転職・求人情報の詳細をご覧になる場合は会員登録（無料）が必要です