AI論 地頭がいいとは何か——生成AI時代に問い直す
「地頭がいい」という言葉はよく使われる。だが、その定義は驚くほど曖昧だ。頭の回転が速い物覚えがいい勉強ができる多くの場合、この程度の意味で使われている。しかし、それは本当に「地頭」なのだろうか。地頭がいいとは、今までにないものを紡ぎ出せる力...
Sougen
AI論 
LLM高速化アルゴリズム DSD Runtime Log #01
全部読む必要あるのか？全部読む必要あるのか？LLMは計算で遅いわけじゃない。HBMからの読み出しで死んでる。Transformer自体は速い。問題は最後。LM Head。hiddenを全部読んで、全vocabに対して最後まで計算する。しかも...
LLM高速化アルゴリズム DSD-CDMA タイル内閉域 IMC
― Top-k出力型・確率閉域計算チップという設計思想 ―はじめに：この技術は「何を潰しに行くのか」生成AI・大規模推論における産業利用の支配項は、演算性能ではなく I/O（HBM / VRAM / 転送電力） に移りつつあります。本構想は...
LLM高速化アルゴリズム 生成AI活用の介護システムを作ろうとして、”動くのに使えない”からLLM高速化アルゴリズムを作った話
重みを上下に割った──VRAMを半分にするHigh/Low分割とCUDA地獄②の続き、別の壁②では非同期プレフェッチをやった。多少は改善した。でも前提が崩れた。帯域に頼る設計は、その帯域が消えた瞬間に破綻する。ここで方針を変えた。重みそのも...
LLM高速化アルゴリズム 生成AI活用の介護システムを作ろうとして、”動くのに使えない”からLLM高速化アルゴリズムを作った話
全部VRAMに乗せる前提を疑った──非同期プレフェッチという発想と、その限界「なぜ全部乗せる必要があるのか」という問い①では、Swallow-MS 7Bをなんとか動かすところまで辿り着いた。とりあえず動く。出力もそれっぽい。でも結論はシンプ...
LLM高速化アルゴリズム 生成AI活用の介護システムを作ろうとして、”動くのに使えない”からLLM高速化アルゴリズムを作った話
動いた、でも使い物にならない。技術的には成功していた。でもPoCで撃沈。介護現場に出入りしていて、記録が大変で本来の仕事である介護にかける時間を圧迫されている現場を見て、記録なら生成AIを使えば今よりも自動化できないかと思った。医療介護はセ...