冒頭の画像・動画は仕組みを表した生成イメージです。実際の製品画面や動作確認の記録ではありません。

手元でAIモデルを動かすアプリを作っていて、そのエンジンを新しい版に差し替えたい。モデルのファイルは同じままなのに、アプリを作り直す必要はあるのか。ローカルでAIモデルを動かすソフトウェア「llama.cpp」が1.0になった。今回、まず見るべきは速さではなく、自分のアプリがエンジンをどこから呼んでいるかだ。

開発チームは11月13日、モデルの推論を担う libllama と、計算の土台となる libggml の1.0.0を発表した。これからは、公開されたライブラリの呼び出し方や、ビルド済みのプログラムとのつなぎ方に互換性を壊す変更があれば、版番号の一番左を上げる方針だ。1.0は「昔のコードが全部そのまま動く」という意味ではない。実際、今回消えた呼び出し方がある。影響を確かめる場所は、アプリがライブラリを直接呼ぶか、別に動くサーバーへ問い合わせるかで変わる。

モデルを開く一行で、何が変わったか

たとえば、アプリがモデルを開くときに llama_load_model_from_file という関数を直接呼んでいたとする。0.9.0の公開ヘッダーでは、この関数は非推奨で、移行先は llama_model_load_from_file と示されていた。1.0.0の公開ヘッダーに旧名はない。この呼び出しを残したまま新版向けにビルドするのではなく、呼び出し先を直してビルドし直す。すでにビルドしたアプリが、起動時などに外部ライブラリを読み込んで旧関数を呼ぶ構成なら、ライブラリだけを差し替えて動くと考えないほうがいい。

ソースコードからどう呼ぶかがAPI。ビルド済みのプログラムがライブラリとどうつながるかがABIだ。どちらも、AIのモデルを保存するファイル形式とは別だ。この関数が消えたことだけを理由に、手元のGGUFモデルを変換し直す必要はない。ただし、すべてのモデルがどの版でも読めると保証されたわけではない。

モデルを開く旧関数は0.9.0で非推奨、1.0.0の公開ヘッダーに記載なし。ソースの呼び出しの修正と、ビルド済みアプリでのライブラリ差し替えは別の確認。
公開ヘッダーの比較。旧名は0.9.0で非推奨、1.0.0で記載なし。ソースの修正と、ビルド済みアプリでのライブラリ差し替えは別の確認です。RINKAKU作成。

同じ「llama.cppを使う」でも、試す場所が違う

アプリにライブラリを直接組み込んでいるなら、まず旧関数を使っていないかを探す。そのうえで、新しいヘッダーとライブラリをそろえてビルドし、普段使うモデルが開き、短い入力に応答するかを更新前と比べたい。

一方、別プロセスで llama-server を起動し、アプリがHTTPで問い合わせる構成なら、アプリから上のC関数は呼んでいない。確認したいのは、実際に使うURLへの応答や、応答の形式が変わっていないかだ。配布済みのローカルAIアプリを使うだけなら、まずそのアプリが採用した版と更新案内を見る。ライブラリの版番号だけでは、いつ手元に届くかは分からない。

C関数を直接呼ぶなら修正してビルド。HTTPなら実際の応答を確認。配布アプリは採用版と更新案内を確認。
Cライブラリを直接使うか、HTTPで呼ぶか、配布済みアプリを使うかで確認先が変わります。更新試験の結果ではありません。RINKAKU作成。

開発チームの配布方針では、従来の b から始まる開発ビルドの番号と、互換性の変更を示す v1.0.0 のような公式リリースの番号を使い分ける。比較するなら、手元がどちらを採用しているかも先に確かめたい。この記事は公式発表とヘッダーの比較で、実機での更新試験や速度測定は行っていない。

出典:開発チームの発表/llama.cpp v1.0.0 リリースノート/ggml v1.0.0 リリースノート