ADCからのお知らせ/Information from ADC No.1009(2020/10/9)
Large-scale data analysis system: Notice of start accepting general users
This announcement is
"Large-scale data analysis system: Notice of start accepting general users".
- It is limited to use of "processing and analyzing HSC observational
data (including past archive data)" **
こちらは、
「大規模観測データ解析システム 一般枠ユーザ受け入れ開始のお知らせ」
(ただし「HSC観測データ(過去アーカイブ含む)の解析利用」限定)
になります（日本語での詳細は、本メール後半にあります）
================
(English)
Large-scale data analysis system
Notice of start accepting general users
** It is limited to use of "processing and analyzing HSC
observational data (including past archive data)" **
-------------------------------------------------------------------------
We are pleased to inform you that we have started accepting past
HSC observers and those who wish to process HSC archive data, as
"general users" from today(Oct. 9, 2020).
Please refer to the following page for details of this system and
application for use.
https://www.adc.nao.ac.jp/LSC/
-------------------------------------------------------------------------
The large-scale data analysis system is an open-use computer system
whose main purpose is to process large-scale observation data that
requires many computational resources for processing, such as Hyper
Suprime-Cam (HSC) at Subaru Telescope.
This system was constructed by Astronomy Data Center (ADC) of the
National Astronomical Observatory of Japan (NAOJ), and has been in trial
operation in collaboration with Subaru Telescope since September 2019.
The amounts of observational data continues to increase due to the
recent increase in the size of telescopes and observational instruments,
and the astronomy community is strongly demanding an environment for
high-speed processing of the large amount of observational data
generated daily by these large-scale instruments.
In response to this demand, this system was introduced.
This system consists of a login node, compute nodes (35 in total), a
management node, file servers with redundant configuration, and a
storage with a capacity of 5PB and high-speed I/O.
The total computing resources of compute nodes are 1,976 CPU cores and
18.5TB memory. This resource is managed by a job scheduler for efficient
use, and the interactive use of compute nodes by users is prohibited.
At the initial stage of operation, the system was optimized to provide
an HSC data processing environment, and users were restricted to the HSC
open-use observers (including intensive program) in the current semester
and those who process the data of the HSC Subaru Strategic Program (HSC-SSP).
With the significant increase in computing resources implemented this
spring, however, we are pleased to inform you that we have started
accepting past HSC observers and those who wish to process HSC archive
data, as"general users" from today(Oct. 9, 2020).
Please refer to the following page for details of this system and
application for use.
https://www.adc.nao.ac.jp/LSC/
Our acceptance of this time is limited to past HSC observers and those
who wish to process HSC archive data.
We will continue to consider accepting those who wish to process data
other than HSC.
Finally, the system is operating in a risk-sharing manner for the time
being. To improve the stability of the system or allocate computing
resources efficiently, tasks such as adjusting queue settings and
shutting down some idle compute nodes may be performed without notice in operation.
Thanks for your understanding and cooperation.
Astronomy Data Center
（日本語）
大規模観測データ解析システム 一般枠ユーザ受け入れ開始のお知らせ
(ただし「HSC観測データ(過去アーカイブ含む)の解析利用」限定)
----------------------------------------------------
大規模観測データ解析システムは、本日(2020/10/09)より
「一般枠ユーザ」として「過去のHSC観測者やHSCアーカイブ
データの解析希望者」の受け入れを開始しましたのでお知らせ
いたします。
本システムの詳細および利用申請については、以下のページを
ご参照ください。
https://www.adc.nao.ac.jp/LSC/
----------------------------------------------------
大規模観測データ解析システム(以下本システム)は、ハワイ観測所の
すばる望遠鏡 Hyper Suprime-Cam (HSC) など、解析処理に多くの
計算資源を必要とする大規模観測データの解析を主目的とした共同利用
計算機システムで、国立天文台天文データセンターが構築を担当し、
2019年9月よりハワイ観測所と共同で試験運用を開始しております。
昨今の望遠鏡ならびに観測装置の大型化によって観測データの容量も
増加し続けており、これら大規模観測装置によって日々生み出される
大容量の観測データを高速に解析する環境が天文学コミュニティから
強く求められておりました。これを受けて本システムは導入されました。
本システムはログインノードと計算ノード(総数35台)、管理ノード、
冗長構成のファイルサーバ、5PBの容量と高速I/Oを持つストレージ
から構成されており、計算ノードの総計算資源はCPUコア数が1,976、
メモリ量が18.5TBです。
この計算資源は効率的な利用のためジョブスケジューラによって管理
され、ユーザによる計算ノードの対話的な利用を禁止しております。
運用初期は、システムをHSCデータ解析環境提供に最適化しており、
利用者を当該セメスターのHSC共同利用観測者(インテンシブを含む)と、
HSCを用いたハワイ観測所戦略枠観測プログラムであるHSC-SSPのデータ
解析者に限定しておりましたが、今春に実施した計算資源の大幅な増強に
伴い、本日(2020/10/09)より新たに「一般枠ユーザ」として「過去の
HSC観測者やHSCアーカイブデータの解析希望者」の受け入れを開始しました
のでお知らせいたします。
本システムの詳細および利用申請については、以下のページを
ご参照ください。
https://www.adc.nao.ac.jp/LSC/
なお、今回新たに受け入れ開始するのは「過去のHSC観測者やHSCアーカイブ
データの解析希望者」に限定しております。HSCに限定しないデータ解析
希望者の受け入れについては、今後検討を進めていきます。
最後に、本システムは当面の間リスクシェア型の運用をしております。
システムの安定性向上や計算資源の効率的な配分のため、稼動中に
キューの設定調整や待機中の一部計算ノードの停止などの作業を
予告なしに実施する場合があります。
ご理解の上での利用申請をお願い致します。
天文データセンター