南関東最速！
どこよりも遅く、限りなく個人的な
Red Hat Summitセッションレポート'13 Boston
ビッグデータ、大流行りじゃないですか！ そもそもビッグデータって何ＭＢ以上からの事を云うんですかね？ ヤフーでググっても分からなかったので、答えを探しに Bostonへ向かいました。
6月 11日から 14日に掛けて行われた Red Hat Summitに参加してきました。今更感が漂わない事もないですが、PDFだけでは分からない口頭での説明等を加える事で、少々遅めのレポートであっても内容的にはごくごく一部の人には多少は価値があるのではないかと思い、ごくごく少数の方のために恥ずかしながら遅報させて頂きます。
会場はダウンタウンのど真ん中となる Back Bayエリアのプルデンシャルセンターの Hynes Convention Centerです。3年前の海側の会場よりも利便性が高くホテル群からも近い場所になっています。参加者は 3,500人と発表されました。今回の Red Hat Summitのテーマは「 CONNECT 」となっていました。
名称は昨年迄の Red Hat Summit & JBoss Worldから Red Hat Summitに変更されました。セッションは Linux系を中心としたインフラ系、JBoss系、クラウド系のセッションが同時並行する形式です。私の興味は Linux一本なので本書が言及するのはインフラ系の内容のみとなります。
会場には Red Hat社の重要顧客を紹介するパネルが展示されており、日本からは NTT Software Innovation Center様、Softbank Mobile様が展示されていました。
プラチナ以上のスポンサーは個別のカスタマー用ルームらしき部屋が用意されていました。何が行われていたのか伺いしる事はできませんでした。
3年前と明かに異なるのは Red Hat Summit用の Androidアプリが提供されている事です。興味のあるキーノートやセッションを登録する事で自分のスケジュールを作成する事ができました。他にもソーシャルとの連携、写真の投稿、サーベイ等もありました。
キーノート
初日最初のキーノートは Red Hat社 CEOの Jim Whitehurst氏が登壇しました。内容的には Openは Proprietaryに勝ると云う内容で、Techonology choiceを行う事は Innovation choiceをする事であり、現在の ITシステムに求められる Speed, Agility, Flexibilityの 3要素を満たすには Openである事がうってつけであり、Openである事の価値が認められる時代になった。今の状況は「OPEN OR DIE」の踏み絵を課すに値するとの事です。Red Hatはこのクラウドの時代に OpenStackを中心製品に添え従来通りパートナー支援の元に成長を遂げるだろうとの事です。
初日二番目のキーノートは IBM社 General Manager, Development & Manufacturing部門の Arbind Krishna氏が登壇しました。「 OPENing Next Generation Apps 」と云う内容でのセッションでした。非常に高速で独特の発音だったので私のポンコツ耳では正直殆ど聞き取れませんでした。
順番が前後しますが、二日目二番目のキーノートは Accenture社 Global Manufacturing Directorの Adam Burden氏の登壇でした。Hybrid Cloudについてでした。
二日目最初のキーノートは HPEの Industry Standard Server and Software部門 Vice Presidentである Scott Farrandの登壇でした。内容は「 A new era of extreme scale computing 」です。現在のハードウェアは性能を向上するために電力消費も大きいままに放置されてきた。Mobility, Cloud, Social, Big Dataと云う 4ヶの潮流を支えるハードウェアは汎用的な利用方法に向けられたサーバではなく処理対象のサービスに特化したサーバを用意し、今後は電力消費をベースにしての性能を考える必要がある。現在の世界の電力消費量の順位は US, China, Russia, Japan, Indiaの順番であるが、Cloud Computingと云うカテゴリ自体は Japanの次に位置する電力消費量となっているとの事でした。HP Moonshotシステムは 3.5Uのラックシステム内に 45カートリッジが格納でき、スペース・コスト、電力、複雑さが大幅に軽減可能な製品です。
セッション
Red Hat Summitの主目的であるセッションの殆どは後日 PDF形式で提供されています。Red Hat Summitに参加していなくてもアクセス可能です(Red Hat社太っ腹!!)。Red Hat Summitサイト内の `PRESENTATIONS`タブをご覧ください。本章は実際にセッションに参加、もしくは後日ドキュメントを読んでみての概略等をまとめたものです。
特にリリース前の製品である Red Hat Enterprise Linux 7のスペックは現時点では `target`としているものであり、決定事項ではない事を口を酸っぱくして云っておりました事を記しておきます。
本書で説明する内容の内、Fedoraや Red Hat Enterprise Linuxの次期バージョンである 7の機能実装前提を把握していないと理解しづらい部分が数多の箇所にあります。必要に応じて本書で後述する RHEL7前夜祭としての Fedoraの機能変遷を先にお読み頂ければ理解しやすくなるかと思われます。
Best Practices for Red Hat Storage Server Performance
Red Hat Storage Serverのセッション中一番高度なものでした。brickの推奨設定、jumboフレームの効果、tuned-admの利用、Glusterコミュニティで提供されているパフォーマンス解析ツール等の説明です。upstream kernel 3.7での FUSEの高速化により小さいファイルサイズの書き込み性能が大幅に上がっているとの事です。
Evolving & Improving Red Hat Enterprise Linux NFS
今回の Red Hat Summitで個人的に二番目に興味の高かったpNFS(parallel)です。現在ストレージベンダーは pNFSに向け各社爆進中ですが、クライアント側として Linuxの対応が着々と進んでいる事が分かりました。ただ、pNFSは Red Hat Storage Serverと云うか GlusterFSとは異なり、ヘッドノードが必要となるのが少し気に掛かります。Red Hat Enterprise Linux 6.4では既に pNFSの file layout(NetApp社等)には対応しており、Red Hat Enterprise Linux 7では block layout(EMC社等)と object layout(Panasas社等)にも対応するそうです。
これで昔から大規模は無理！と云われていた NFSも大規模環境向けに整備されていくのかと思われます。ただ残念な事に pNFSのサーバサポートは Red Hat Enterprise Linux 7では行わないとの事です。あと NFSの他の進化としては、v4.2で SELinux対応となります。利用例としては仮想マシンイメージを安全に NFS上に配置できるとの事でした。また Solaris等でお馴染みの FedFS(fedraded filesystem)がサポートされます。これは多数のサーバ上に分散しているデータを DNSや LDAPによるネームスペースで一元的な利用を可能とするものです。
Filesystem Access Control Lists
Access Control List入門です。特に目新しい事は全くなかったので、何故ここで？と云う疑問が沸きました。セキュリティ関連は Red Hat社の目論見程には使われていないとかで布教活動の一環なのか、Red Hat社のトレーニングの宣伝(ページ最期で宣伝されています)なのか不明です。ちなみに、セキュリティ関連はあまり人気がなく、特に SELinuxの名前が出て来るとブーイングが出たり、プレゼンターである Red Hat社員が「皆さん嫌いでしょうが SELinuxにも対応しています」とか結構自虐的な状況だったのが印象に残っています。
Getting Ready for Systemd, the New Red Hat Enterprise Linux 7 Service Manager
Red Hat Enterprise Linux 7で一番の変更点は systemdが搭載される事かと思われます。何が違うかと云えば、Red Hat Enterprise Linux 6では /etc/init.d/配下に沢山鎮座ましましているサービススクリプトが Red Hat Enterprise Linux 7では殆どなくなるであろう事です。既に Fedora 15に搭載されている systemdですが、Fedora 15, 16では結構残っていたスクリプトも Fedora 17, 18では 4ヶと 8ヶしか残っていません(デフォルトのパッケージグループにて)。
ただ、従来のスクリプトは 99%互換(今回初めて知りました)ですし、rc.localも追加すれば使えますので、レガシー的な使い方も可能だと思われます。とは云え /etc/sysconfig配下のファイルが大きく変わると思われますので勉強して追いつくのが大変そうです。あと、systemdとは別に /etc/sysconfig配下のファイルも Fedoraでは既に大きく変更されています。/etc/sysconfig/i18nは /etc/locale.confで、keyboardなんて vconsole.confになっちゃってます。
Introducing a New Linux Management API OpenLMI
OpenLMI(Linux Management infrastructure)です。Red Hatがメインの開発者となり Fedora 19より実装されています。Linuxの管理コストが高止まりしているために必要となる管理システムとなります。現在 Linuxシステムの管理者はスクリプトで設定を行っていると思いますが、ローカルにログインする必要がなく様々な言語からアクセスが出来、分かり易いものとするべく開発されている目玉的なものらしいです。デモとしては仮想マシンに仮想ディスクを追加するデモを行っていました。
少し前は Xen用のツール、今は KVM用のツールを使う必要があり、パーティション設定も fdiskだったり partedだったりと異なります。この様なツール依存の部分を標準化します。ただ、相手が Linuxである以上は最新の機能に対応したツールが出てきたり、bug回避のために細かなパラメータを引き渡したりする必要が都度出て来ると思います。それらの場合には OpenLMI側では未実装状態であれば結局は元のスクリプトベースの作業に戻り、個別ツールを #manで調べる必要が出て来るかと思います。この様な手間すら掛けさせないぐらいに OpenLMIでの即時・永続対応が行われると云う事なのでしょうか。あと、使い勝手がかなり異なる Debian系, SUSE系でも採用されれば確かに管理は楽になるかと思います。
KVM Hypervisor Roadmap & Technology Update
仮想化、KVMのおさらいです。現在の仮想化戦争での勝者が KVMであるとの話しが中心です。ただのおさらいかと見くびっていましたが Red Hat Enterprise Linux 6.4で実装された PV-EOI(para-virtual End-of-Interrupt : NICが高負荷時の 10%の CPU負荷低減)とか知らずに軽いショックを受けました。Red Hat Enterprise Linux 6.5では para-virtualな RNG(Random Number Generator)ドライバが実装される事、仮想 CPUのホットプラグが実装される事等の興味深い説明がありました。
RHEV-H 3.2ではデータセンター対応として Live Snasphotの結果をマージ＆デリートし、差分イメージではなくフルの VMイメージを作成する事ができる事、ストレージマイグレーションが可能になるとの事です。KVMで詳細実装される機能としてはシリアルデバイスのホットプラグ、NUMAバランシングの自動化(numadの事ですかね？)、USB 3.0対応、メモリのホットプラグ等が予定されているとの事でした。ちなみに、SPECvirt_sc2010での値が 8,956となる最速マシンの紹介は ProLiant DL980 G7でした。
Linux Containers Overview & Roadmap
今回の Red Hat Summitで個人的に三番目に興味の高かったコンテナです。コンテナと云えば Solarisで、Solaris-to-Linuxを実施しようとする場合に一番厄介なのがコンテナでしたがようやく Linuxシステムでも戦う事が可能になります。コンテナにはいくつかモードがあり、Generic Applicationコンテナと Systemd Applicationコンテナが Red Hat Enterprise Linux 7.0からサポートが予定されています。Chroot Applicationコンテナは Red Hat Enterprise Linux 7の途中のマイナーアップデートでサポートされる予定との事です。Booted OSコンテナはサポート予定がないので KVMを使えとの事です。コンテナは KVMのマシンイメージをそのまま使えるモードがあったと思ったのですが、恐らくこれがこのモードですかね。
デモに入る前に `unix ware`社のプラスチックボックス的なものが紹介されて「中国ではまだ UnixWareがあるんだぜ、へへ(笑」とかで会場の笑いを誘っていましたが、これ日本製でしょうと一人もやもやしておりました。Red Hat社内テストでは 600コンテナ、12,000ファイルシステム同時マウントでの稼働が行われているとの事でした。今回の一番の目玉は private /procと /tmpが採用される事が判明した事です。コンテナをマルチテナントで利用する場合 /procや /tmpが他のコンテナ利用者に覗かれてしまう事がないと云う意味になります。/procを privateにするには upstream kernelに別途 patchの適用が必要だった筈ですが、Red Hat社がこれを適用したのか、upstream側で取り込んだのかは分かりませんでした。
Linux File Systems Enabling Cutting-edge Features in Red Hat Enterprise Linux 6 & 7
今回の Red Hat Summitに来た一番の目的としたセッションです。Red Hat Enterprise Linux 7は XFSが標準ファイルシステムになります。起動も XFSから可能です(Fedora 18から)。ファイルシステムのサイズは XFSが 500TB、GFS2が 250TB、Ext4が 50TB(Fedora 17から Ext4は 100TBですけど)を予定として開発が進んでいるとの事です。Btrfsからの起動は説明にありませんでしたが Fedora 16と 18以降で可能でしたので大丈夫かと予想)。Btrfsでサポートされる最大ファイルシステムのサイズは分かりませんでした。スケジューラは PCI-Express直結のデバイスに対応できる様なものが搭載されるとの事でした(恐らく TPP: tiny parallel proportionかと)。あと、T10コミッションの話しが出てきた際に、TAPEや USBを含まない Tru-な SCSIプロトコルを提案しているらしいです。現在の SCSIプロトコルはこれらのデバイスをサポートするために重くなっているとの事です。この提案が通るかどうかは全く分からないとの事でしたが、通れば従来のストレージは物理的にも別なモノが用意されるかもしれないとの事です。upstream kernelの 3.9で実装された dm-cacheと 3.10で実装された bcacheも搭載予定との事です。これらは SSD等を HDDの前段キャッシュに使う様にできるものです。名前から分かる様に前者は device-mapperレベルでの実装のためネィティブなファイルシステムには使えませんが、仮想マシンレベルでの SSDキャッシュの利用に効率がいいみたいな話しが出ていました(よく理解できず)。
Performance Analysis & Tuning of Red Hat Enterprise Linux Part I
チューニング系セッションの Part Iです。NUMA関連を中心としたハードウェアに紐付いたチューニング内容となります。hwlocパッケージに入っている #lstopoでシステムトポロジーがグラフィカルに表示されると云うカッコイイツールの存在を今回のセッションで初めて知りました。Red Hat Enterprise Linux 6.3から実装された numadデーモンは従来手動で CPUへのプロセス固定をしていたのと変わらないぐらいに自動制御してくれる賢い奴(CPUが空いていてもメモリがリモートノードとなる構成を回避してくれます)ですが、今回 6.4で正式サポートとなっているとの事です。
Performance Analysis & Tuning of Red Hat Enterprise Linux Part II
チューニング系セッションの Part IIです。今時の SR-IOVを使った際のチューニング、tunedを使う際の設定表が便利です。レイテンシーが気になるシステムに有効な内容が多かったです。あと Red Hat MRGに同梱されていた便利ツールの tunaが Red Hat Enterprise Linux 6.4から同梱が開始されており、使い方の説明がありました。C-State等は CPUが進化する度に新たに考慮しなければならない事が多いので、この手の資料は助かります。TSO, GSO, GRO, LROは聞いた事がありますが UFO(udp fragment offload)と云うのは聞いた事がありませんでした。
Red Hat Enterprise Linux Roadmap Part I
圧倒的、ひたすら圧倒的パワーの入り具合のセッションでした。他のセッションは単独もしくは 2名でのスピーチですが、本セッションは細かな機能毎に Red Hat社のプロダクトマネージャレベルの人が説明を行っていました。その数 11人です。現行の Red Hat Enterprise Linux 6.4の説明もありましたが LVMが re-designされており RAID-10が出来るとかだけでなく、内部的に大きく変わっていると云うのは知りませんでした。特に LVM snapshotがスケーラブル(詳細説明なし)となり、別途 snapshot用のファイルシステムの用意が不要になっていると云うのは知りませんでした。あと GFS2も性能が向上しているらしいです(詳細説明なし)。UEFI機で IPv6を使った PXEブートのサポートは Red Hat Enterprise Linux 6.4からサポートが開始されているそうです(ProLiantはまだ BIOS機です)。
Red Hat Enterprise Linux 7では、HERM(hardware error reporting mechanism)と云うのが実装されるそうです。現在 mcelogや edac-util等のツールに分散しているハードウェアに特化した RAS機能を統一したツールから利用できる様にするらしいです。目玉となる機能としては bondingの後継となる(?) teamドライバの説明がありました。bondingとは異なり switchの向こう側での link downに対応できるのか、それが IPv4でもできれば非常に嬉しい機能です。ちなみに Fedora 19の NetworkManagerの GUIモードでは bondingの設定が可能になりましたが、teamは無理でした。PTP(precision time protocol - IEEE 1588)と Open vSwitchが Red Hat Enterprise Linux 6.5と 7から正式サポートされます。Red Hat Enterprise Linux 7の Gnome3は Modernと Classicのモードが用意されます。嬉しい反面、頑張って Gnome Shell使ってきたのは何だったんだって気がしないでもないです。あと Waylandの `W`字すら出てきませんでした(心配です)。ちなみに Red Hat Enterprise Linux 5.10については基本言及が為されなかったのでパッケージのアップデート程度になるのかと予想しています。
Red Hat Storage Server Best Practices & Advanced Configurations
Red Hat Storage Serverを利用した場合のベストプラクティスとロードマップです。他のセッションを優先したため本セッションには参加しなかったので、Red Hat Storage Serverのスケールアップ予定とかのアナウンスがあったのか、ファイルレイアウト形式からブロックレイアウトへのトランジションをどうやって行うのかについては資料を読んでも分かりませんでした。資料で興味深いのは FUSEが libgfapiに置き換えられる様を示す分かり易い図が示されていた事です。
注）パッケージ写真はイメージです
製品展示ブース
Red Hatをはじめパートナーが製品を展示するブースが設けられています。Red Hatが中心となる会場、Red Hatが居ない会場の 2ヶ所で構成されており、この 2ヶ所は通路で結ばれています。
Red Hat社
Red Hatブースでの目玉は Red Hat CloudFormsでしょうか。Red Hat製品の統合管理ツールで簡単にクラウド環境を構築できるみたいです(クラウドセッション全く出てないのでこの程度しか分かりません)。Red Hat Storage Serverもこなれてきたのかストレージベンダー色を前面に出すかの様なパートナーとの協調展示があちこちで行われていました。個人的には Red Hat Storage Serverは pNFSや HDFS等の様にメタデータ用のノードが不要であると云うのが一番の特徴であり優位な点かと思いますが、スケールアップの予定や、ブロックベースやオブジェクトベースでのデータ分散等の予定は私が受けていないセッションでは行われていたのでしょうかね？ あと OpenLMIのデモを初めて見る事が出来ました。同社ブースは当然会場で一番大きなコマを占めてはいるのですが、パートナー製品も多く展示しているのでこの広さになっているとも云えます。
興味深いパネルとして CASIO社様が Xenを使い続ける予定だったが KVMに切り替えると云うパネルがありました。
パートナーの展示として Red Hat Storage Serverを小型のスケルトンサーバで実演していましたが、どう見てもこのマシンで動いている様には見えなかったので問い詰めたら別のマシンで動いているとの事でした。
IBM社
IBMはいつもの大型システムを中心にした流石の豪華な展示です。私も毎朝、水天宮前で下車したいものです。
Cisco社
Cisco社は UCSを展示... と思いましたが、ラックの中に液晶パネルを埋込み機器を表示しての展示をしていました。これは画期的です!! デプロイも超高速で電力消費も Moonshotシステムよりも大幅に少なく、コストも非常に抑えられ、ラックの荷重も考慮する必要ない筈です(処理能力は限りなく /dev/zeroかも知れません)。この展示の何がいいかと云うのはラックの裏面の配線を通してのデータがどうやって流れているのか等を動画等にする事で非常に見やすく、プレゼンするには効果的っぽいだろうと云う事に尽きます。特にデータセンターの中で顧客を呼んでの説明には非常にイイのではないかと思います。今回の Red Hat Summitで一番の目から鱗な展示でした。
HPE社
HPEは Moonshotシステムを中心とした製品展示を行っておりました。ここでの目玉はリリース前の Insight Control for RHEVです。Insight Control製品で Red Hatの仮想マシンを管理するためのものです。ブレードサーバでの実際のネットワークトポロジが図で表示する事ができ非常に分かり易くなっていました(正式リリースされる迄は油断できませんが)。
会場で一番目立っていたのは一見するとお察し下さいっぽい出で立ちの Red Hatマンならぬ Redマンでした。会社のロゴが お察し下さい社っぽいです。
製品展示ブース画像集
ラーニングについて
会場では有償でのラーニングセッションと云える HANDS-ON LABSが開催されていました。通常より割安で受ける事ができるらしいのでお得なのかも知れませんが、一部のセッションを犠牲にする事になりますので悩ましいところですね。
食事について
食事は 3食提供されます。EXPO会場でベンダーの説明を聞きながらの夕食や、夕方セッション終了時のビールの提供、セッションの合間のコーヒーの提供がありました。Fedoraコミュニティのブースでは綿飴を配ってました。
イベントについて
毎日 RED HAT PRESSと云うニュースペーパーが配布されています。うーーーん、残念な事に以前はあった 4コマ漫画が無くなっていました。
会場の入り口と製品展示ブースでは DJによる実演が行われていました。
3日目のセッションが終了後、Red Hat Awardの贈呈式が行われました。Professional of the yearを初め、Partner of the year等 Red Hat製品を利用しての大型システムを構築したユーザや SIベンダーがその苦労や成果を報告していました。
アワード授与式の後には IBM主催の PUB貸切りパーティが行われました。当日は天気が悪かったので屋外で行う予定を急遽 PUBに切替えられました。3,500人の内実際に参加したのがどれだけなのか分かりませんが、かなりの人数です。1,000人程度と云う事はないと思います。それだけの人数をバスで移動し、雨傘を用意したり予備の PUBをキープしておいたりとかなりの手間暇が掛かっている感じです。PUBでは様々なゲーム、音楽イベント等が開催されており、PUBに飽きた人は深夜 2時迄の無料パスを使い、近隣の PUBを徘徊する事ができます。
イベント画像集
4日目は午前中だけしかセッションが無いため 3日目に帰る人も多かったためか、3日目にグッズを買い込んでる人が多く見受けられました。
RHEL7前夜祭としての Fedoraの機能変遷
| Grub2 | - Fedora 16より実装 |
| BIOS機でのディスクラベル | - Fedora 16で GPT強制、Fedora 17, 18は 2.2TB以下/超は DOS/GPT |
| BIOS機での FAT(EFI) | - Fedora 16で強制インストール、Fedora 17, 18では無し |
| Ext4サイズ | - Fedora 16迄は 16TB、Fedora 17より 100TB |
| Btrfsからの起動 | - Fedora 16, 18で可能、Fedora 17はインストーラ選択自体が不可 |
| XFSからの起動 | - Fedora 18より実装 |
| private tmp | - Fedora 17より実装 |
| DVD/USB/SDマウント先 | - Fedora 16迄は /media配下、Fedora 17より /run/media/$USER配下 |
| systemd | - Fedora 15より実装 |
| /etc/rc.d/rc.local | - Fedora 15より無し(追加可能) |
| /etc/sysconfig変更 | - Fedora 18より clock/i18n/keyboard/networkが /etc直下の localtime/locale.conf, vconsole.conf, hostnameに変更 |
| sandbox(仮想化/vnc) | - Fedora 17より実装 |
| Gnome3ソフトレンダリング | - Fedora 17より実装、Fedora 16では未対応ドライバは fallbackモードで起動 |
| 基本パッケージグループ | - Fedora 18より Baseから Standardに変更 |
| teamドライバ | - Fedora 19より実装 |
| WiFiホットスポット設定 | - Fedora 18より実装 |
| NetworkManagerでの bonding/vlan/bridge/vpn | - Fedora 19より実装 |
| firewall | - Fedora 18より実装(iptables存続) |
| OpenLMI | - Fedora 19より実装 |
| UUIDスタート値 | - Fedora 16より 500から 1000に変更 |
| chrony | - Fedora 16より ntpから置換え |
| pciutils | - Fedora 17より PCI-Express Gen3の spped/link status対応 |
雑感
Red Hat Enterprise Linux 7リリース直前かなと予想し社内での出張申請をしていましたが、思ったよりも事前のアジェンダに `7`の文字が少なかったので渡米前には焦りましたが、実際には Fedora 19をベースに 7の話しが口頭ベースも含めてかなり散りばめられていました。
個人的な感想と云うか印象としては「もう誰とも戦う必要がないところまで来た！」と云う感じでしょうか。かつては、Linuxを使わない世間一般と戦い[要出展]、Windowsと戦い、UNIXと戦い、Oracleと戦ってきたと個人的には感じていました。今は安定期に入ったと云うか、誰とも戦う必要がない場所にまで Linuxが(Red Hatが!?)ステージアップ(成熟)してきた感がします。
3年前の Bostonでは「次は Cisco対抗だな」と予想していましたが、そうなっていませんでした。今後、Open vSwitchが利用され始めるとネットワークの物理 vs 仮想の戦いが始まる[要出展]でしょうから、その際には Ciscoがターゲットになりそう[要出展]な気がするのかと思われます(勝手な思い込みです)。
あと、MRGが無い!とニーチェが云ったとか云わないとか...
来年の Red Hat Summitは初の西海岸、サンフランシスコで、例年より 2ヶ月も早い、4月 14～17日となります。
Open Source & Linux
product
support
サイト情報
2015年11月1日付でHewlett-Packard CompanyをHewlett Packard Enterprise Company とHP Inc.に分社する以前に販売された製品については、現在のモデルと異なる、古い製品名およびモデル番号である場合があります。