ADCからのお知らせ/Information from ADC No.479(2016/3/25)
[Importance] Planning a correction of NFS file system ("/mfst*" area) of ADC analysis system
(English)
Dear users,
Thank you so much for using ADC analysis system.
We are planning a correction of NFS file system ("/mfst*" area) of
the analysis system. Please see the followings for details.
=============
[1. Changes, reason and the outline of the work]
1-1. Contents of the change
/mfst* area will be changed to "ext4" from "ext3" format.
1-2. Reason for change
The combination of "NFS + ext3" has a problem that
"cashe is not renewed in case of the specific condition".
We will perform the above change for the correction of the problem.
1-3. Outline of the work
We will perform re-format in each partition of /mfst* area,
sequentially.
==============
[2. Outline of schedule and influence]
2-1. Outline of the schedule
The re-format work will start in a maintenance of June, 2016.
/mfst01a and /mfst03a partitions will be changed to ext4 format in
the maintenance.
The re-format work for all partitions will continue until the next year.
(2 partitions will be changed in every monthly maintenance)
Please understand the long schedule. We will announce for the details
of the schedule as soon as possible.
[2-2 Influence]
a.
The changed partitions will be unavailable about 4days (from Friday to
Monday) on the monthly maintenance.
- 5:00pm Friday -- 9:00am Monday:
The changed partitions will be set "Read-only" mode for making backup.
- 9:00am Monday -- 9:00pm Monday:
Monthly maintenance work
(Users cannot login to the system during the maintenance)
In case of the maintenance of June, the changed partitions
(/mfst01a and /mfst03a) will be unavailable from 5:00pm (Fri) June 3
to 9:00pm (Mon) June 6.
b.
The "rsync" process will be running in the background for making
data backups from a maintenance of May, 2016.
The process speed is limited 20MB/s, however a few loads will always
occur between the analysis system.
==============
[3. Measures]
3-1. Data backup
The changed partitions will be re-format (initialization),
however, we will make backups of the partitions just before
starting the re-format work (at Friday 5pm in every monthly
maintenance).
We will offer the partitions in the same condition before
the work using the backups.
- The above "rsync" process is necessary to this work.
3-2. Suspension of the periodic data deletion
The periodic data deletion in the local disk (/wam*, /wah*) and
the NFS disk area (/mfst*) will be suspension during the re-format
work for all partitions.
The suspension will start from the maintenance of May, 2016.
3-3. Disk quota
Disk quota (/mfst* 20TB, /wam* 32TB and /wah* 16TB) will be not
changed during the re-format work.
We may contact to heavy users necessary, and we strongly recommend
to use local disk area (/wam*, /wah*).
==============
[4. Note]
We strongly recommend that you should not use the changed partitions
just before starting the re-format work (setting "Read only mode" on
5:00pm Friday), because you will be not completed file I/O successfully.
===============
We apologize for the inconvenient.
Thank you for your cooperation.
Astronomy Data Center
-------------------------------------------------------------------
（日本語）
多波長データ解析システム ユーザの皆様
多波長データ解析システムをご利用頂き、ありがとうございます。
現在、当システムの NFS ディスク領域 (/mfst* 領域)の設定改善・
不具合修正を計画しております。詳細は以下の通りです。
===============
[1. 変更内容、変更理由および作業内容の概要]
1-1. 変更内容
/mfst* 領域を ext3 フォーマットから ext4 フォーマットへ
変更を計画しております。
1-2. 変更理由
変更の理由は、機能改善・不具合解消のためです。
NFS + ext3 の組み合わせにおいて、特定の条件の場合に、
キャッシュが更新されないという不具合を解消いたします。
1-3. 作業内容
/mfst* 領域の各パーティションにおいて、順次フォーマット
変更作業を実施します。
===============
[2. 作業スケジュールの概要と影響]
2-1. 作業スケジュールの概要
フォーマット変更作業は、現在、2016年6月度メンテナンスから
開始の方向で調整しております。
2016年6月度は、/mfst01a と /mfst03a パーティションの
変更作業を計画しています（毎月2パーティションずつ）。
全パーティションの変更までに、約1年ほどかかる長期作業の予定ですが、
ご理解ご協力頂ければと思っております。
詳細なスケジュールについては、近日中に改めて報告する予定です。
2-2. 作業の影響
a.
フォーマット変更作業に伴い、2016年6月度メンテナンスから、変更対象の
パーティションに限り、メンテナンス日時を金曜17時〜月曜21時の
約4日間とさせて頂ければと考えております。
・金曜17時〜月曜 9時まで変更対象パーティションを Read only 設定に切替
・月曜 9時〜21時の間は定期メンテナンス作業（システムログイン不可）
例えば 2016年6月度の場合は、6月3日(金)17時 〜 6月6日(月)21時の間、
/mfst01a と /mfst03a パーティションが通常利用不可となります。
b.
2016年5月度メンテナンスから常時バックアップのための rsync プロセス
を実行したいと考えています。同作業は帯域制限 (20MB/s) をかけて実施する
予定ですが、システム間の通信に対して、常時多少の負荷が生じます。
=============
[3. 対策]
3-1. データバックアップ
変更対象パーティションは、再フォーマットになりますので、初期化
（データ消去）されますが、あらかじめ当該パーティションにつきましては、
再フォーマット作業の開始直前（金曜17時直前）の状態でバックアップを
取らせて頂きます。
そのバックアップデータを元に、フォーマット変更後も変更前と同様の状態で
提供させて頂く予定です。
※前述の rsync プロセス は、この作業を円滑に行うために、
実施させて頂ければと考えております。
3-2. 定期削除ツールの一時停止
毎月のメンテナンス時に実行していました、定期削除ツールの実行を
本変更作業の実施中は停止する予定です。
定期削除ツール停止の対象は、作業用大容量ファイルシステム (/mfst*)
と、各解析サーバのローカルディスク領域 (/wam*, /wah*) になります。
定期削除ツール停止は、2016年度5月度メンテナンスから始める予定です。
3-3. ディスク使用容量の上限について
ディスク領域の利用上限 (/mfst* 20TB, /wam* 32TB, /wah* 16TB)
については、現状、変更しない予定ですが、本変更作業の影響で、
ユーザの皆様によるデータバックアップ等も発生すると考えておりますので、
使用量の推移を見ながら、必要に応じて個別連絡させて頂ければと
思っております。また、ローカルディスクへのデータ分散なども、
ご検討頂ければと思っております。
===============
[4. 注意点]
毎月の変更対象パーティションにつきましては、変更作業開始（金曜17時）
付近のご利用はお控え頂ければと思います。
変更対象パーティションを金曜17時に Read-Only 設定にするため、
当該時間帯をまたいだファイルの読み書きを行った場合、正常に読み書きが
されずエラーとなる可能性があります。
================
大変ご不便をおかけいたしますが、
ご理解ご協力をよろしくお願いいたします。
天文データセンター