Edge推論について

Edge推論のための機器構成を引き続き検討中

• AirBox SoC TPU 1684X 32 TOPS@INT8
• ROCK 5B SoC NPU 6 TOPS@INT8
• ROCK 5B + HAILO 8 M.2 E-Key 26 TOPS@INT8
• ROCK ZERO 3E SoC NPU 1 TOPS@INT8
• PARMSHELL X2L + HAILO 8 M.2 E-Key 26 TOPS@INT8
• ROCK X4 + HAILO 8 M.2 M-Key 26 TOPS@INT8

既存のmodelをNPU/TPUで利用可能な状況にするながれ

ONNX化
量子化　.bmodel / .hef
/ .rknn等のアクセラレーター用のmodelに変換しなくてはいけない
推論用プログラムの作成

現在のところROCK 5BとX2LにHAILOのAI acceleration moduleを搭載して環境を構築している

CPU処理ではRK3588とJ4125ではRK3588が処理性能では上回る

今後発売になるN100搭載のX4LはCPUのマルチコア性能ではRK3588とほぼ同等になる予定

X4Lが販売開始されるまでの間は同じくN100搭載のX4で検証を進める予定

ONNX化で推論が効率的に実行可能な環境と、更に量子化により推論エンジンの最適化を進める予定

HAILO 10Hは発表済であるものの現在のところ未入手

AXELERA AIモジュールについても未入手

推論をCPUからオフロードする際にこれらのNPU / TPUのM.2のモジュールを利用するメリットが大きい

特に10HではM.2モジュール上に8GBのメモリが搭載される仕様のようである為、推論処理以外に本体側のリソースが自由に利用できると期待ができる

先日到着したばかりのRADXA社のX2L（Palmshell X2L）にはPCIe 2.0のE Keyを利用してHAILO 8を接続しているが、4レーン利用できる仕様のM Key版のHAILO 8やHAILO 10Hを入手できた場合には、接続速度が向上すると考えられる

※UPで手に入るHAILO 8 B-M Key版では2レーン仕様なのでA-E Key版と同等と考えて良いはず

追記（2024/8/18）
PalmshellのホームページによるとX2Lが届いたばかりで残念な限りの情報ですが、
X4Lと言うIntel N100搭載版が登場している
販売については本日時点ではまだリリースがないようですが、こちらのモデルの場合、RADXA X4と同じCPUで推論周りで言うとGNA3.0(Gaussian & Neural Accelerator)と言うアクセラレータが実装されているので軽い推論には適している可能性がある
GNA3.0を利用するためにはOpenVINO経由でモデルはONNXを利用することになるようだ

X4LはIntel N100搭載機でGNA3.0があると言う以外の利用用途としては、Intel J4125からの進化としては大きいのはPCIe 2.0からPCIe 3.0になって、
メモリも最大8GB LPDDR4 2400MT/sから最大32GB LPDDR5 4800MT/sに向上していること
NICは自分の要件にはあまり関係ないのですが2.5Gbpsに対応
製品としてはメインメモリ32GBモデルがすぐに登場するのかは不明ではあるものの、メモリ空間に余裕ができるのは歓迎する進化です

RADXA X4との大きな差はM.2の物理的接続でX4はM Keyの2230のみなので、手許にあるHAILO 8は2枚ともA-E Keyモデルなので直接は利用できない
M Key版かB-M Key版を手に入れる必要があるが、現在AMAZONで見つけられるものがWaveshareのRasberry Pi5用キットの5万円となっていて結構高い
Aliexpressなら同じものが3万3000円くらいなので手に入れるとしたらこっちから
（A-E Key版は米国のオンラインショップで$198だった。最近では最も円安だったタイミングで注文したものの、UPやAliexpressでも手に入らないものだったので納得）

RK3588であればSoCのNPUでrknnを利用して6TOPS@8INTの推論ができる
N100の場合はGNA3.0でOpenVINOとONNXの組み合わせでどの程度の性能が発揮できるか数値がないので検証してみたい
OpenVINOとONNXについても勉強しなくてはいけないです