Open source software Elastic製品・サービスとRAG構築サービス

Elastic Distribution Partner

2024年7月11日 サイオステクノロジーとElasticsearch株式会社(以下、Elastic)は、日本におけるDistribution Partnerとして契約を締結しました。

Distribution Partnerの役割

  • Elasticのリセールパートナーをご支援し、Partner様経由でElasticのソリューションをユーザー様にお届けします
  • サイオステクノロジー独自の活動・サービスにより、Elastic社を補完します

Elasticの製品・サービス概要

Elastic Search AI Platform

Elastic Search AI Platform(ELK Stack上に構築)では、検索の精度とAIのインテリジェンスを組み合わせて、革新的なアプリケーションを構築し、オブザーバビリティの問題を先回りして解決し、複雑なセキュリティ脅威に対処できます。これらはすべてSearch AIの力によって実現されます。

  • 検索
    RAGに最適なベクトルデータベースとプラットフォームで、顧客や従業員向けのパワフルなAI検索エクスペリエンスを構築できます
  • セキュリティ
    SIEM、エンドポイントセキュリティ、クラウドセキュリティ等の機能群を集約し、リスクとコストを低減できます
  • オブザーバビリティ
    メトリック、ログ、トレースなどを集約して一元的に可視化し、アクショナブルなインサイトを引き出します

Elastic Search AI Platformを選ぶ理由

  • 生成AIの最適化
    業界初のSearch AI Lakeで生成AIエクスペリエンスをカスタマイズすることが可能です。ネイティブベクトルデータベースなど、低レイテンシでAIに最適化されたアーキテクチャーを利用できます
  • 自在にデプロイ
    オンプレミスでもクラウド、ハイブリッドなど自在にデプロイできます。Elastic Cloudを活用すれば、運用面のオーバーヘッドはElasticに任せて、関連性の高い回答をすばやく得ることに専念することもできます
  • スピード、スケール、関連性
    検索の力とAIを活用して、ペタバイト規模のデータから意義のある的確な答えを数ミリ秒で見つけられます
  • オープンで拡張可能
    Elasticのフレキシブルなプラットフォームにシームレスに適合するツールやソリューションを使用して、インサイトを迅速に取得できます。それぞれのビジネスに固有のニーズに対応可能です

RAG構築支援サービス

(1)RAG構築支援コンサルティングサービス概要

サイオステクノロジーは3つのフェーズでサービスを提供、RAG構築の導入を成功に導きます

(2)生成AIの企業利用における利点と課題

利点:

  • 人間のような処理が出来、自然な会話や文章の作成、サンプルプログラムの作成ができます

課題:

  • 一般公開された情報しか参照していません
  • 学習されている情報の範囲までしか対応できません
  • 結果にブレがあり、間違えた情報も返します(ハルシネーション)
  • コストとプライバシーや知的財産権の問題を考慮しなくてはなりません

(3)生成AIの課題に対する未トレーニングデータへの対応方法

  • Fine Tuning:
    大規模言語モデルに対してトレーニングを行い、非公開データを学習させる。時間とコストがかかり、新たなデータに対して継続的にトレーニングが必要です
  • RAG:
    追加データをコンテキストとして元の質問とともに大規模言語モデルに送付する。コンテキスト(要確認:コンテクスト)のサイズに制限があります

(4)RAGへの期待

生成AIがトレーニングしていないデータをRAGにより生成AIへ渡すことで、
「簡単に」「正しく」「安価に」
回答ができるようになります

(5)RAGの導入を成功させるために

  • コンテキストにいれる内容(検索)が間違えている場合、どうやっても良い結果は返ってきません。検索結果が正しいかどうか?の検証から始める必要があります
  • 検索にはキーワード検索とベクトル検索の2種類あり、ベクトル検索は万能ではありません
  • 本番環境を意識してドキュメント権限、データの置き場を考慮する必要があります
  • 新しいドキュメントが追加される毎に検索精度は落ちていくため、検索精度を監視していく仕組みが必要です

(6)RAGにElasticを選択する理由に

Elasticsearch Relevance Engine(ESRE)の下記の機能がRAGを導入する上で効果的で、以下の特徴があります

  • 業界をリードする高度な関連性ランキング機能
  • フルベクトルデータベース機能
  • Elastic Learned Sparse Encoder ‐
    複数のドメインを横断したセマンティック検索に対応する新しい機械学習モデル
  • フルスイートのデータインジェストツール
  • 開発者向けツール

お問い合わせ・資料ダウンロード

OSSに関するお問い合わせ

サイオステクノロジーがご提供する製品・サービスのお問い合わせはこちらからお送り下さい。