1. 転職サイト ビズリーチ
  2.  > 
  3. 求人検索
  4.  > AI Agent Evaluation Lead

転職・求人情報の詳細をご覧になる場合は会員登録(無料)が必要です

新規会員登録(無料)

AI Agent Evaluation Lead

年収:800万 ~ 1400万

採用企業案件

採用企業

テックタッチ株式会社

  • 東京都

    • 資本金630百万円
    • 会社規模101-500人
  • インターネットサービス
  • ソフトウエア
部署・役職名 AI Agent Evaluation Lead
職種
業種
勤務地
仕事内容 【主な業務内容】
プロダクト横断で、全社のAI精度評価の基準・プロセスを整備していきます。

1. プロンプト・設定の最適化(AI Accuracy)
「AIが賢く、期待通りの回答をすること」を追求します。全社共通の評価フレームワークを構築し、各プロダクトに適用します。
- 評価基準の策定
- プロンプトエンジニアリング
- 評価データセットの構築

2. 品質保証プロセスの構築(Process & Strategy)
開発ライフサイクル全体におけるAI品質保証の「仕組み」と「ロードマップ」を策定し、各プロダクトチームへ展開します。
- シフトレフト/シフトライトの実践
- フィードバックループの構築
- ロードマップ策定

3. 全社横断での標準化推進
- 評価ガイドラインの策定
- ナレッジ共有
- 評価基盤の整備

【ポジションの魅力】
- AIエージェント時代に不可欠な、より高度なAI品質評価スキルを実務で身につけられる
- 特定プロダクトに閉じず、全社横断でAI品質評価の標準化・仕組み化を推進できる
- 既存の安定稼働プロダクト〜新規プロダクトまで幅広く関わり、品質保証の経験領域を広げられる
- 大きな裁量を持って、評価基準・プロセス設計から運用定着までをリードできる
- 0→1で仕組みを作り、成果を残すことができる
応募資格

【必須(MUST)】

- LLM/RAGの技術的特性への深い理解と実践経験
- ChatGPT、Claude等のLLMを業務で活用した経験
- RAG(Retrieval-Augmented Generation)の仕組みの理解
- 評価フレームワークの使用経験**
- Langfuse、Weights & Biases、MLflow等のツールを用いたAI/LLMの評価・モニタリング経験
- データドリブンな改善スキル
- データに基づいて課題を特定し、改善提案ができる
- 定量的な評価指標の設計・運用経験
- スタートアップでの0→1フェーズへの意欲
- 未整備な環境でプロセスを構築することへの前向きな姿勢
- 変化を楽しみながら柔軟に対応できるマインド

【歓迎(WANT)】

LLM/AI関連
- LangChain、Dify、Flowise等のLLMフレームワーク使用経験
- プロンプトエンジニアリングの知識・実践経験

開発・分析関連
- Python / TypeScript等を用いた簡単なスクリプト作成による業務効率化経験
- SQLでのデータ抽出・分析経験
- モニタリングツール/可観測性(Observability)ツールの導入経験

ドメイン知識
- 経費精算、ワークフロー系システムの知見
- BtoB SaaSプロダクトの知見

求める人物像
- AIの「正解がない」評価に対して、粘り強く取り組める方
- 新しい技術・手法に対する好奇心と学習意欲がある方
- PdM/SEなど他職種と積極的に連携し、プロダクト品質向上に取り組める方
- ドキュメント作成・ナレッジ共有を大切にできる方
- 不確実性が高い環境を楽しめる方
アピールポイント 自社サービス・製品あり ベンチャー企業 年間休日120日以上 ストックオプション制度あり 教育・研修制度充実 シェアトップクラス 2年連続売り上げ10%以上UP 資格支援制度充実 産休・育休取得実績あり 完全土日休み フレックスタイム
リモートワーク

「可」と表示されている場合でも、「在宅に限る」「一定期間のみ」など、条件は求人によって異なります
受動喫煙対策

屋内禁煙

更新日 2026/02/06
求人番号 6788736

採用企業情報

テックタッチ株式会社
  • テックタッチ株式会社
  • 東京都

    • 資本金630百万円
    • 会社規模101-500人
  • インターネットサービス
  • ソフトウエア
  • 会社概要

    設立7期目のスタートアップですが、国内の大企業を中心に導入が爆発的に増加中。
    数年後のIPOを見据え事業も急成長中なので、スタートアップが大きくグロースしていく熱さを実感していただけます。

    【企業概要】
    設立年月:2018年3月1日
    本社所在地:〒104-0061 東京都 中央区 銀座 8-17-1 PMO銀座Ⅱ5階 
    資本金:6億3,000万円
    代表:代表取締役 井無田 仲
    従業員数:169名(2025年7月時点)

    【事業内容】
    ≪すべてのユーザーがシステムを使いこなせる世界に≫
    システム導入だけで終わらせない、利活用のためのDXプラットフォーム「テックタッチ」の企画・開発・運営・販売を行っています。
    ーDX導入のハードルを下げたい。システムの利活用を促進したい。-
    「Webシステムの上に操作ガイドを表示させることで、誰もがシステムを使いこなせるようにする」プロダクトです。

    ■テックタッチの機能紹介(一例)
    あらゆるソフトウェアの画面上に、操作ガイドを追加し、ユーザーの “わからない” を解消します
     ・どのタイミングで何を入力すればいいのかをステップごとに教えてくれる
     ・入力ミスを事前に検知(半角/全角、(株)/株式会社など)
     ・分析機能を用いて、どれくらいの社員が、どの項目で躓いているのかが分かる
     ・自動入力機能で顧客のIDを間違いなく入力(ダブルチェックが不要に)

    ■DAP領域に属するホリゾンタルSaaS
    - デジタルアダプションプラットフォーム(DAP)
    国内ではまだまだ認知度の低い領域ではあるものの、webシステムを誰もが使いこなせる状態に整え、システム導入効果の最大化を狙うこの市場は、世界的にはメジャーな領域です。

    - ライバルは外資系SaaS企業、世界のユニコーン企業。
    テックタッチはDAP領域では、日本国内でパイオニアとして取り組んでいるという自負もあり、「DXを推進するプラットフォームになる」という想いを込めて社内ではデジタル・トランスフォーメーション・プラットフォームⓇ(DXP)と呼んでいます(商標登録済み)。

    【資金調達情報】
    2019年6月 シード調達:1.2億円
    2020年6月 シリーズA調達:5億円
    2023年1月 シリーズB調達:17.8億円
    ※累計調達額は24億円

    【社内の雰囲気/特徴】
    ◎大人な雰囲気のスタートアップ!メリハリつけた働き方が可能
    平均年齢は34歳、子育て中社員が約40%。
    企業も、プロダクトも、まだまだ成長していかないといけないフェーズであり、全力で業務に向き合っているものの、通院や、育児ピークタイムの離席、学校行事への参加、ご家族の急な看病での早退・欠席など、全社的に柔軟な働き方に理解があります。
    休日出勤・過度な残業など無理なスケジュールで業務を進めていくことはありません。

    ◎メンバー全員で、組織作りに携わる
    大手金融、外資コンサル、メガベンチャー、スタートアップ経営者など、様々なバックグラウンドを持つメンバーが当社には集まっています。
    当然ながら自律性、主体性が強く求められる環境ではあるのですが、そのような環境だからこそ、全員が「会社のオーナーである」という思いを持ち、プロダクト開発だけではなく、組織作りにも積極的に関わる風土ができています。

    ◎働く環境/スキルアップ
    ・グローバルIT企業、メガベンチャー、ITコンサル等出身のメンバーがプロダクト開発に関わっています。また、ビジネスチームにはグローバル証券会社、戦略コンサル、投資顧問企業、RPA企業等出身者も揃い、世界に通用するプロダクト作りに集中していただける環境です。
    ・書籍購入サポート・開発マシンやキーボード、ディスプレイを自身で選択可能(上限額あり)
    ・カンファレンスへの参加費用は全額補助。海外のカンファレンスやビジネス系のカンファレンスにも参加可能です。

    【受賞歴】
    ・週刊東洋経済「すごいベンチャー100」選出(2020年)
     - 「過去500社の現在地特集」DX銘柄にて12位を獲得しました*
      *週刊東洋経済 2022年9月17日-24日合併特大号
    ・Forbes JAPAN 「CLOUD 20 Rising Stars」選出(2020年)
    ・FUJITSU ACCELERATOR 第8期ピッチコンテスト 優秀賞(2020年)
    ・日本DX大賞支援機関部門 ファイナリスト選出(2022年)
    ・グッドデザイン賞 受賞(2022年度)
    ・総務省後援 ASPIC IoT・AI・クラウドアワード 基幹業務系ASP・SaaS部門 準グランプリ 受賞(2022年)
    ・SAP AWARD OF EXCELLENCE2023 Partner Innovationアワード 受賞(2023年)
    ・経済産業省「J-Startup」選出(2023年)
    ・「ITreview Grid Award 2024 Fall」最高位である「Leader」を2部門で7期連続受賞(2024年)
    ・Great Place To Work Japan調査「働きがいのある会社」10位(2025年)

転職・求人情報の詳細をご覧になる場合は会員登録(無料)が必要です

新規会員登録(無料)

<< 検索結果に戻る