LiteLLM v1.103.0 の修正と新機能、プロバイダーごとの対応

ツール・基盤

LiteLLM v1.103.0 の修正と新機能、プロバイダーごとの対応

スポンサーリンク

LiteLLM v1.103.0が公開。Docker 署名とプロバイダー修正

この記事のポイント

  • Dockerイメージの改ざんを疑える
  • cosign署名を公開鍵かタグで検証
  • 改ざんを検出できる。鍵の配布は別

どこで使えるか

Dockerイメージの改ざんを検知したい人向け。cosignで公開鍵かタグで署名を検証 GitHub Releasesで公開済み プレリリース版。cosign署名対応

スポンサーリンク

解説

かみくだいて説明します

github-actions[bot]がGitHubで公開したBerriAI/litellmのv1.103.0-dev.2は、278のモデルに対応する価格情報を更新し、そのうち59が新規、30が非推奨になりました。
価格情報が59件も増えるんですか。開発者がコストを見積もる手間がどれくらい減るんですか。
価格の同期が自動で回ったため、APIを呼び出す側が個別のベンダーごとに料金を確認する作業は不要になりました。ただし、30件非推奨化されたモデルの価格データは、別の方法で取得する必要があります。中身の更新では、HTTP/2に対応する通信機能が追加され、Rustで書かれた一部の内部処理が削除されました。Guardrailsと呼ばれる安全装置のAPIも、ログ出力専用と、呼び出し前後に処理を挟む形式の2つに整理されました。
なるほど。では、Rustの内部処理が削られたのは、ビルド時間の短縮が主目的ですか。
Rustのinstrumentationをgatewayやconfig、routerから外してcratesとして独立させたため、ビルド時間の短縮が期待されます。
なるほど。Guardrailsのログ出力専用モードは、データの流れを可視化したい現場向けですか。
そうです。Guardrailsのログ出力専用モードは、データの流れを可視化したい現場向けですか。呼び出し前後に処理を挟む形式だと、検査結果をログに記録できます。
検査を挟む形式だと、処理速度はどう変わるんですか。
そこには具体的な数値で示されていません。ただ、ストリーミングでデータが届くたびに一定の範囲だけ検査を回す設計になっているため、一度に大量のデータを処理する場合でも、重なりを防ぐ仕組みになっています。
なるほど。では、ルーターがシャドウトラフィックを流す機能は、本番と開発環境を同時に試すためのものですか。
そうです。本番で使われているリクエストの複製を、開発環境や新モデルに向けて同時に送る仕組みです。新しいモデルの動作を本番に影響を与えずに確認できるため、切り替え前の検証に使えるようになります。
検証に使えるんですか。では、最後に、この開発版は本番環境でそのまま使える見込みですか。
開発版のDockerイメージはcosignで署名されています。公開鍵を使って、コミットハッシュやリリースタグから検証可能です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤