こんにちは上野(@ueeeeniki)です。 みなさんの会社では、今年のDev DayでOpenAIが発表した蒸留機能であるModel Distillationをうまく活用できているでしょうか。 蒸留とは、大きいモデルの出力を小さいモデルの学習に利用する方法です。これにより、大きいモデルに匹敵する精度を持つ小さいモデルを作ることができます。 この蒸留を行うModel Distillationという新機能を上手く使えばLLMアプリケーションのコストを劇的に削減することができます。 例えば、GPT-4oの出力を使って蒸留したGPT-4o-miniの料金は、下記の表では、fine-tuned ...

はじめに ELYZA 研究開発チームの大葉 (@dai0NLP)です。 本記事では、研究開発チームの最近の取り組み内容である 「日本特有の知識に特化した大規模言語モデルの学習および評価」 について解説いたします。 ELYZAは、日本の生成AIの開発力強化を目的とした経済産業省主導のプログラムである Generative AI Accelerator Challenge (GENIAC) に採択され、H100複数基をはじめとする計算資源の利用や関係者間の連携促進等のご支援をいただきながら、2024年5月から8月までの約3ヶ月間に渡り日本語汎用基盤モデルの開発を行いました。具体的には、日...

はじめに どんな人向けの記事？ ローカル LLM に興味のある方 Cline に興味のある方 Qwen2.5-Coder-32B の性能に興味のある方 LLM を用いたアプリ開発に興味のある方 本アプリの開発環境 1. Ubuntu 24.04.1 LTS (Core i5-8400 + メインメモリ 16GB) 2. Mac Studio (M2 Ultra 128GB) # ollama server 概要 前回の記事に引き続き、Qwen2.5-Coder-32B-Instruct を用いて、アプリ開発がどの程度出来るかを検証していきたいと思います。 https:...

以下の記事が面白かったので、簡単にまとめました。 ・Agent Protocol: Interoperability for LLM agents 続きをみる

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、文章の尤度とドキュメントの配置位置、そして回答の精度の関係性を調査した論文について紹介します。 https://arxiv.org/pdf/2411.07773 サマリー RAGにおいて、正解ドキュメントの文章の配置と、回答精度の関連性は以前から注目されていました。この関係性の原因が文章の尤度(文字同士のつながりをLLMがどの程度自然と捉えているかの指標)にあるとしたのが、この論文の大...