OrcaCyber、『Flint』のアブリテーション版GGUFウェイトを公開。約12GBと約24GBの2種類

[PR] 当ページのリンクにはアフィリエイト広告が含まれている場合があります。
OrcaRouter「Flint」アブリテーション版GGUFの告知画像。拒否応答86.3%→10.4%

FlashLabs株式会社は11月10日、同社が日本市場向けに独占提供するAI推論ゲートウェイ『OrcaRouter』のサイバーセキュリティチーム「OrcaCyber」が、拒否応答(コンテンツフィルタリング)を緩和したアブリテーション版モデル『OrcaCyber: Flint Abliterated / Uncensored』のGGUFウェイトを公開したと発表しました。

ベースは、米国のAI研究機関Recursiveが開発したオープンウェイトのコーディングモデル『Flint』です。

ウェイトは11月5日に公開されています。

アブリテーション(abliteration)は、モデルのウェイトから拒否応答を生み出す方向成分を取り除く手法です。脱獄用プロンプトや追加学習には頼らず、モデル自体の重みにフィルタリングの緩和が組み込まれます。

OrcaCyber公式Xアカウントの発表によると、発表時点の計測で、有害なプロンプトへの拒否応答は86.3%から10.4%に削減されたとのことです。

OrcaCyberは「あらゆるモデルで防御する(Defending with every possible model)」という取り組みのもと、複数のモデルをアブリテーションし、「Orca Cyber Tier」やオープンウェイトとして提供しています。『Flint』はその一環です。

目次

ベースモデル『Flint』の仕様

『Flint』は、コーディングエージェント向けに開発されたオープンウェイトモデルです。総パラメータは39.8B(約400億)のMoE(Mixture of Experts)構成で、各トークンで活性化するパラメータは約2.5Bです。

コンテキストは262,144トークン(約26万)です。コードベースの調査、バグ修正、機能実装、テスト作成といったエージェント型のコーディング作業向けに設計されています。ライセンスはApache-2.0です。

GGUFウェイトの構成と必要環境

『OrcaCyber: Flint Abliterated / Uncensored』は、『Flint』のウェイトから拒否応答を生み出す方向成分を除去し、量子化したモデルです。量子化では、エキスパート層ごとに計測した乖離度をもとに精度を割り当て、GPTQ方式の誤差補正をくわえたうえで、llama.cpp標準の形式に変換しています。特別なカスタムカーネルは不要で、一般的な推論ツールで実行できます。

公開されたGGUFウェイトは2種類です。

『Mix-12G』は約12GBで、16GBメモリのGPU1台で動作します。エキスパートあたり平均2.27ビットの量子化で、次トークン一致率は88.1%です。

『Mix-24G』は約24GBで、32GBメモリのGPU1台で動作します。エキスパートあたり平均4.65ビットの量子化で、次トークン一致率は96.5%です。量子化前(BF16)と比べた困惑度(perplexity)の増加は1.1%です。

これらの数値は、Hugging Faceのリポジトリ「orcarouter/Flint-abliterated-GGUF」の記載に基づいています。ウェイトにアクセス制限(gated)はなく、利用申請なしでダウンロードできます。

想定用途と利用上の注意

用途として想定されているのは、セキュリティ研究、レッドチーミング、セキュリティテストです。セキュリティ研究者やレッドチーム/ブルーチームによる検証・研究用途に提供されており、責任ある利用が前提です。

アブリテーション版は安全整合(safety alignment)が大幅に緩和されています。そのため、元のモデルが拒否していた有害・非倫理・違法な要求にも応じる可能性があります。

利用者は自身の責任で、適用される法令とApache-2.0ライセンスを守る必要があります。実運用の前には、独自の安全・モデレーション・悪用防止のレイヤーを追加することが求められています。

OrcaRouter「Flint」アブリテーション版GGUFの告知画像。拒否応答86.3%→10.4%

この記事が気に入ったら
いいね または フォローしてね!

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次