タグ: ローカルLLM

3件の記事があります

Foundry Local で作るローカルチャットアプリ：インストールから Python 実装まで
AI開発

Foundry Local で作るローカルチャットアプリ：インストールから Python 実装まで

Foundry Localを使い、端末内だけで動くマルチターンチャットアプリをPythonで実装する手順を解説。OpenAI互換API対応で既存SDKを流用でき、モデル取得・推論・ハードウェア最適化をローカル完結。CLI確認、実装例、Gradio拡張、注意点も紹介。

3か月前
ローカル LLM × Azure エージェント：Phi-4 と Azure を組み合わせたコスト削減構成
AI/機械学習

ローカル LLM × Azure エージェント：Phi-4 と Azure を組み合わせたコスト削減構成

Phi-4とFoundry Localで分類・要約・PII除去など軽い処理をローカル実行し、複雑な推論や長文脈はAzure OpenAIへ振り分けるハイブリッド構成を解説。OpenAI互換APIで切替えやすく、固定費と従量課金の損益分岐やフォールバック設計が重要。

3か月前
Phi-4Foundry Localハイブリッド推論+2個
2026年版 ローカル LLM 実行環境の比較：Foundry Local・Ollama・LM Studio・llama.cpp・vLLM
AI・機械学習

2026年版 ローカル LLM 実行環境の比較：Foundry Local・Ollama・LM Studio・llama.cpp・vLLM

ローカルLLMは「ランタイム」と「モデル」を分けて選ぶと整理しやすい。Foundry Localは単一ユーザー向けのオンデバイスAIで、OpenAI互換APIやGPU/NPU自動選択が強み。手軽さはOllama/LM Studio、柔軟性はllama.cpp、多人数配信はvLLMが適する。

3か月前更新済み
ローカルLLMFoundry LocalOllama+2個