uepon日々の備忘録 (original) (raw)

先日、「なごのキャンパスエンジニア交流会｜Nagono Tech in Touch! #3 〜クロストーク＆夏休み自由研究発表会」というイベントでLT（ライトニングトーク）をやってきました。LTは一般的に5分間程度で話すという内容のものです。

https://techintouch03.peatix.com/

今回のLTのテーマは「夏休み自由研究」でした。一応、やることとしては準備としては8月までに終わっていたのですが、スライドを作成するのを当日まですっかり忘れていて、当日の夕方までまったく手をつけられませんでした。ただ、現行や画像などは作成していたので素材や内容は問題ありません。さてどうやって、スライド化しようかなと思ってました。

そんなとき、研究室の学生がGammaの話をしていたのを思い出しました。

gamma.app

Gammaは、AIスライド作成サービスで、ユーザーが短い文章やキーワードを入力するだけで、プロフェッショナルなデザインのプレゼンテーション資料を自動生成できるというものになります。PCにプログラムをインストールする必要がなく、Webブラウザで動作するため、手軽に利用できます。

これだ！

ということで、時間がなかったので早速使用してみることにしました。

続きを読む

先日開催されたMaker Faire Tokyo 2024に行ってきました。今回はかなり余裕のある日程で2日とも参加だったので、かなりゆっくり作品を見るとができました。

見ながらの投稿をしたものもありますが、それ以外の写真もあったりするので感想を含めてまとめてみたいと思います。

続きを読む

Dockerでコンテナを触っているとdocker run実行後に以下のような表示が出たことはないでしょうか。ここ最近DockerでOllamaを触って、そのころから毎回出力されている状態です。

What's next: Try Docker Debug for seamless, persistent debugging tools in any container or image → docker debug ollama Learn more at https://docs.docker.com/go/debug-cli/

情報としてはデバック関連のサジェストみたいなものなので、コマンドの実行自体には問題はありませんが、毎回出るとちょっと勘弁してほしいなと思いました。そこでこの対応策を調べたのでメモしておきます。

続きを読む

最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠

先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。

リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇

ということで、HuggingFaceに公開されているHFモデルをなんとかしてOllamaでも使用可能なGGUF形式に変換できないかという内容でチャレンジしてみたいと思います。

（2024.09.11）Ollamaに作成したGGUF形式のモデルをpullする方法のリンクを追記

【参考】

tech.takuyakobayashi.jp

qiita.com

続きを読む

これまでOllamaを使用して比較的容易にローカルLLMモデルを使用することをやってきました。ここまで来ると未対応のLLMモデルを使用したくなってきます(よね😊)。

そこで、OllamaのREADMEファイルを読んでいったところ

github.com

Import GGUFという項目がありました。

GGUFとは LLMモデルをllamma.cppから使用できるようにしたバイナリ形式のファイルになります。現在はこのファイル形式で使用できる処理系も増えてきています。HuggingfaceでもGGUF形式のファイルが公開されていて、それをOllamaからロードしてすることができるようになります。デフォルトで対応したLLMモデルは少ないのですが、GGUF形式まで含めると数多くのモデルが使用できます。

参考

huggingface.co

自分も話題になっていたrinna、楽天、サイバーエージェントのモデルを使ってみたいと思っていたので、今回はこの使い方を含めてまとめてみたいと思います。

続きを読む