最近AIが発達しています。
AIにも複数の種類があるようですが、chatGPT等は大規模言語モデル(large language model、LLM)といいます。
このLLMですが、実はパソコンがあれば、自分のパソコンに無料で実装できます。
ただ、LLMはグラフィックボード(GPU)を活用するので、高性能なグラフィックボードが搭載されている方が有利です。
さて、早速ですがもっともポピュラーなAIであるollamaやqwen2.5をインストールしてみます。これをブリンガーGPTと名付けました(名前を付けるのは重要な儀式です。)。
詳しいことはわかりませんが、車で例えるとollamaはハンドルを含めた車体、qwen2.5はエンジンです。
エンジンに当たるqwen2.5なども複数のモデルがあります。3bとか5bとか7bというのはパラメーターの数です。パラメーターとはこの場合、AIに入力する際のスイッチ、つまみ、みたいなものです。3bだとしてbはビリオン(10億)なので30億のスイッチがあります。このパラメーターが多ければ多いほど、より人間らしい回答をしてくれます。
qwenというのは中国のアリババグループが作ったもので、漢字文化を前提としているため日本語が強いですが、困ると中国語で話し始めます。gemmaはグーグル様が作ったもので、すぐ英語に頼ろうとします。
さて、パラメーターが多い方が良いということだったら、99那由多ぐらいにしておいてもよさそうですが、ここでハードウェアの制約が出てきます。パラメーターが多いと高性能なグラフィックボードが必要になってきます。
まず初めに試したのはGeForce GTX 550 Ti(15年ぐらい前に発売されたグラボです。)。
残念ながらこれだけ古いとAIには使用できないよって怒られました。そこでグラボに頼らずCPUでqwen2.5:3bを動かしてみました。
CPU+qwen2.5:3bの感想は・・・・・
おそい。とにかく遅い。普通に挨拶するだけで、10分かかる。だめです。会話が成り立っているかどうかではなく、私の入力に対して返答するのに10分かかるようではもはや無理です。
そこで、機体を変えて再トライです。
次に試したのが別の機体でGeForce RTX 3060 Tiです。
これはAIを試すのにもってこいです。
qwen2.5:5bを試します。
うおー、早い。サクサク動きます。先程の遅さがすべて解消されています。
では知能はどうでしょうか。

うーん、厳しいです。
他にも古典(徒然草、源氏物語)、日本神話、日本史(聖徳太子、源平の戦い、石川五右衛門、天保の改革、新選組、田中角栄)、世界史(古代中国史、カエサル、アメリカ独立戦争、第二次世界大戦、ヒットラー、冷戦)、社会(両院協議会)、数学(フーリエ変換)、物理(第一宇宙速度、電波最大見通し距離、量子力学)、化学(塩の工業的製造法)、法律(民法、刑法)、漫画(ドラえもん、ゲゲゲの鬼太郎、エヴァンゲリオン)、映画(大脱走、チャップリン、グーニーズ)等について質問しましたが、全部落第点でした。また、わからなくなると、中国語で語り始めます。
一応、文章処理、つまりニュース記事を入力して、3行ぐらいにまとめるという作業や時場所方法などを分類するという作業はできました。
また、コンピュータープログラミングについてはそこそこ強く、少なくとも中級から上級の競技プログラミング問題を解けました。
次に、gemma2:9bを試しました。
パラメーターがさらに増えたので更に知性が高まっているはずです。他方、私のグラボの性能から言ってギリギリです。
また、ollamaの機能として、わからないことがあればネット検索すればよい機能が実装されています。これを有効にしてみました。
しかし、正直、良くなかったです。
9bにしても、劇的に知性が上がったわけではありません。
また、ネット検索について、適切なキーワードを設定できず、有効な文献に辿れていないようです。さらにその上、その有効ではない文献を絶対視する側面があり、回答が乏しくなりました。
ネット検索しないとハルシネーション(嘘)が生じ、ネット検索するとネット記事を要約して数行のみの回答になってしまうという状態です。
せめてwikipediaぐらいを検索して、それを参考にしたら少しはまともになりそうだけどね。
ということで、chatGPT的な機能を担わせるのはちょっと早かったです。
どうせならより高いグラボを購入して試してみようかと思っていますが、最近値段が上がっているのですよね。なんとか下がらないかな?
