ainews24-ops

アナログ演算メモリでTransformerを強固にするABNAT、推論時の精度低下を減らす話

アナログ演算メモリでTransformerを強固にするABNAT、推論時の精度低下を減らす話

2026/10/17  

ABNATが、ノイズ劣化時の精度を最大11.28%向上させた。

Qwen3-8Bで並列ドラフトを深さ方向に条件付けるDSpine、推論速度を上げる話

Qwen3-8Bで並列ドラフトを深さ方向に条件付けるDSpine、推論速度を上げる話

2026/10/17  

Qwen3-8BでDSpineが受け入れ長を伸ばした。

Axolotl v0.21.0 の 501B モデル QLoRA 単ノード学習と拡散言語モデル学習

Axolotl v0.21.0 の 501B モデル QLoRA 単ノード学習と拡散言語モデル学習

2026/10/17  

Axolotl v0.21.0 が公開。501B モデルの QLoRA 単ノード学習と拡散言語モデル学習に対応。

スポンサーリンク

GPU で訓練中のメモリを減らす LCT、重みや活性化の圧縮

GPU で訓練中のメモリを減らす LCT、重みや活性化の圧縮

2026/10/17  

LCTが、162MパラメータのNanoGPTでGPUメモリを最大24.6%削減。

ロボットに視覚と言語を教える REKI、2.4B の VLA で性能とサイズの両立

ロボットに視覚と言語を教える REKI、2.4B の VLA で性能とサイズの両立

2026/10/16  

REKI が公開。2.4B の VLA で性能とサイズの両立を実現し、コードとモデル重みを公開。

動体や重力を学習で教える3D再構成手法、推論は画像だけで動く話

動体や重力を学習で教える3D再構成手法、推論は画像だけで動く話

2026/10/16  

Motion- and Gravity-Aware Feedforward 3D Reconstruction が、動体や重力の情報を学習で教えることで、推論時は画像だけで精度を上げた。

スポンサーリンク

テスト時に推論を改善する EMO、文脈とロジットを交互に操作する話

テスト時に推論を改善する EMO、文脈とロジットを交互に操作する話

2026/10/16  

EMO が 8 モデル 6 ベンチで 40 中 39 改善。

MoE LLM の専門家を特定する手法、パーソナライズされたモデルの仕組みを理解する話

MoE LLM の専門家を特定する手法、パーソナライズされたモデルの仕組みを理解する話

2026/10/16  

MoE LLM の専門家を特定する手法が、パーソナライズされたモデルの仕組みを解明した

因果構造を組み入れた勾配ベースの解釈手法 CIG、遺伝子発現データの解釈

因果構造を組み入れた勾配ベースの解釈手法 CIG、遺伝子発現データの解釈

2026/10/16  

CIGが、遺伝子発現データで既存手法が見逃す転写因子を正しく特定した

スポンサーリンク

計算結果の場所を補正する手法、Byte Latent Transformer の推論精度を上げる話

計算結果の場所を補正する手法、Byte Latent Transformer の推論精度を上げる話

2026/10/16  

Byte Latent Transformerの計算結果の精度が、50Mパラメータで21%から57%に向上した