■■■ベリタス関連 Tips

■VxDisk側調査コマンド

■vxdisk
# vxdisk -o alldgs list

DEVICE       TYPE            DISK         GROUP        STATUS
c0t0d0s2     auto:none       -            -            online invalid
c0t8d0s2     auto:none       -            -            online invalid
c0t12d0s2    auto:none       -            -            online invalid
c2t47d0s2    auto:cdsdisk    -           (vxfendg)     online
c2t47d1s2    auto:cdsdisk    -           (vxfendg)     online
c2t47d2s2    auto:cdsdisk    -           (vxfendg)     online
c2t47d3s2    auto:cdsdisk    ora_arch1_dg01  ora_arch1_dg online shared
c2t47d4s2    auto:cdsdisk    ora_data1_dg01  ora_data1_dg online shared
c2t47d5s2    auto:cdsdisk    ora_data2_dg01  ora_data2_dg online shared
c2t47d6s2    auto:cdsdisk    ora_data3_dg01  ora_data3_dg online shared
c2t47d7s2    auto:cdsdisk    ora_redo1_dg01  ora_redo1_dg online shared
c2t47d8s2    auto:cdsdisk    ora_redo2_dg01  ora_redo2_dg online shared
c2t47d9s2    auto:cdsdisk    -           (vxfendg_stb) online
c2t47d10s2   auto:cdsdisk    -           (vxfendg_stb) online
c2t47d11s2   auto:cdsdisk    -           (vxfendg_stb) online
c2t47d12s2   auto:cdsdisk    ora_arch1_dg02  ora_arch1_dg online shared
c2t47d13s2   auto:cdsdisk    ora_data1_dg02  ora_data1_dg online shared
c2t47d14s2   auto:cdsdisk    ora_data2_dg02  ora_data2_dg online shared
c2t47d15s2   auto:cdsdisk    ora_data3_dg02  ora_data3_dg online shared
c2t47d16s2   auto:cdsdisk    ora_redo1_dg02  ora_redo1_dg online shared
c2t47d17s2   auto:cdsdisk    ora_redo2_dg02  ora_redo2_dg online shared
c2t47d18s2   auto:cdsdisk    oradg01      oradg        online shared
c2t47d19s2   auto:cdsdisk    oradg02      oradg        online shared
c2t47d20s2   auto:cdsdisk    oradg03      oradg        online shared
c2t47d21s2   auto:cdsdisk    oradg04      oradg        online shared
c2t47d22s2   auto:cdsdisk    oradg05      oradg        online shared
c2t47d23s2   auto:cdsdisk    -            -            online

■vxprint
# vxprint -ht

Disk group: oradg

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
ST NAME         STATE        DM_CNT   SPARE_CNT         APPVOL_CNT
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
CO NAME         CACHEVOL     KSTATE   STATE
VT NAME         NVOLUME      KSTATE   STATE
V  NAME         RVG/VSET/CO  KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
SC NAME         PLEX         CACHE    DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO

dg oradg        default      default  22000    1109668418.64.deimosd11

dm oradg01      c2t47d18s2   auto     2048     6137600  -
dm oradg02      c2t47d19s2   auto     2048     6137600  -
dm oradg03      c2t47d20s2   auto     2048     10233600 -
dm oradg04      c2t47d21s2   auto     2048     20473600 -
dm oradg05      c2t47d22s2   auto     2048     2041600  -

v  vol01        -            ENABLED  ACTIVE   5120000  SELECT    -        fsgen
pl vol01-01     vol01        ENABLED  ACTIVE   5120000  CONCAT    -        RW
sd oradg01-01   vol01-01     oradg01  0        5120000  0         c2t47d18 ENA
...
...


■ネットワーク障害時のVCS側調査例

●LLT(Low Latency Transport mechanism)について調査

# lltconfig
LLT is running

# lltconfig -a list
                          ↓MACアドレス      ↓HB(HartBeat)NICの確認(永続的)
Link 0 (ce2):
  Node   0 deimosd11  :   00:03:BA:B1:23:AE  permanent
  Node   1 deimosd21  :   00:03:BA:B1:31:EB

Link 1 (ce3):
  Node   0 deimosd11  :   00:03:BA:B1:23:AF  permanent
  Node   1 deimosd21  :   00:03:BA:B1:31:EA

※ちなみにLLTの起動・停止方法
LLTを停止する方法
# lltconfig -U    (プロンプトに対してyを入力)
lltconfig: this will attempt to stop and reset LLT. Confirm (y/n)? n

LLTを起動する方法
# lltconfig -c

・これでもOK(各インターフェースがUPであることを確認)
# lltstat -nvv | head
LLT node information:
    Node                 State    Link  Status  Address
   * 0 deimosd11         OPEN
                                  ce2   UP      00:03:BA:B1:23:AE
                                  ce3   UP      00:03:BA:B1:23:AF
     1 deimosd21         OPEN
                                  ce2   UP      00:03:BA:B1:31:EB
                                  ce3   UP      00:03:BA:B1:31:EA
     2                   CONNWAIT
                                  ce2   DOWN
                                  ce3   DOWN
...

・LLTの設定ファイルも確認
(1) /etc/llttab
# more /etc/llttab
set-node deimosd11
set-cluster 1
link ce2 /dev/ce:2 - ether - -
link ce3 /dev/ce:3 - ether - -

(2) /etc/llthosts
# more /etc/llthosts
0 deimosd11
1 deimosd21

●GAB(Group Atomic Broadcast)について調査

# gabconfig -a
GAB Port Memberships
===============================================================
Port a gen   21d502 membership 01
Port b gen   21d505 membership 01         ←★ bポートはGABポート
Port d gen   21d501 membership 01
Port f gen   21d516 membership 01
Port h gen   21d50a membership 01
Port o gen   21d507 membership 01
Port q gen   21d514 membership 01
Port v gen   21d50f membership 01
Port w gen   21d511 membership 01
※[a] GAB制御ポート、[h] VCSポート


・DiskハートビートがActiveになっていることの確認
# gabdiskhb -l
Port  Disk                Major Minor Start   Active
=============================================================================
a     /dev/dsk/c1t2d0s7      32    95     0       01
h     /dev/dsk/c1t2d0s7      32    95   128       01

・サービスグループハートビートが機能していることの確認
# gabdiskx -l
Disk                      Major Minor Start   Active
=======================================================================
      /dev/dsk/c1t2d0s7      32    87     0       01


・GABの設定ファイルも確認
(1) /etc/gabtab
# more /etc/gabtab
/sbin/gabconfig -c -n2
※"-n"はノード数

(2) I/O Fencing用ファイルも確認(Fencing している場合)
・/etc/vxfentab
# more /etc/vxfentab
/dev/rdsk/c2t43d0s2
/dev/rdsk/c3t40d0s2
/dev/rdsk/c2t43d1s2
/dev/rdsk/c3t40d1s2
/dev/rdsk/c2t43d2s2
/dev/rdsk/c3t40d2s2

※他にも vxfen-startup, vxfen-stop, vxfendg ファイルがあるので確認すること。

※ちなみにGABの起動・停止方法
GABを停止する方法(VCSが停止していること:hastop -all -force)
# gabconfig -U
GAB gabconfig ERROR V-15-2-25014 gabconfig: ioctl failed : clients still registered

GABを起動する方法
# gabconfig -c  -c -n2
※"-n"はノード数

■VCS側調査例

●エージェント情報
・クラスタ内の全てのエージェントの表示
# haagent -list

・エージェントの実行時間の表示
# haagent -disp [Agent_Name]

●クラスタ情報
・クラスタに関する情報の一覧
# haclus -disp

・クラスタ属性を変更する
# haclus -[ help [-modify] ]

●サーバ情報
・クラスタ内のサーバを表示
# hasys -list

・各サーバに関する情報の表示
# hasys -disp [Server_Name]

●サービスグループ情報
・全サービスグループの表示
# hagrp -list

・サービスグループ内のリソースでエラーステータスをクリアする場合
# hagrp -clear [Service_Group] -sys [Server_Name]
エラーによりロックされていたオンラインプロセスは自動的に開始する。

・特定のサーバの特定のサービスグループのステータスを表示
# hagrp -state [Service_Group] -sys [Server_Name]

・サービスグループのリソースを表示
# hagrp -resources [Service_Group]

・サービスグループの依存関係を表示
# hagrp -dep [Service_Group]

・特定のサーバ上のサービスの設定情報を表示
# hagrp -disp [Service_Group]

・特定のシステム属性を表示
# hagrp -disp [Service_Group] [-sys Server_Name]

●リソース情報
・全リソースの表示
# hares -list

・リソースの依存関係を表示
# hares -dep [Resource_Name]

・特定のリソースに関する情報を表示
# hares -disp [Resource_Name]

・全サーバで属性が同じである事を確認する。
# hares -global

・特定のサービスグループのリソースを表示
# hares -disp -group [Servece_Group]

・特定のリソースタイプのリソースを一覧表示
# hares -disp -type [Resource_Type]

・特定のサーバの属性を表示
# hares -disp -sys [Server_Name]

●※ちなみにVCSの起動・停止方法
・VCSの起動
# hastart [-stale|-force]
# hastart -force {server_name}
「server_name」の設定でクラスタが強制的に起動される。

・VCSの停止
# hastop [-local | -sys {server_name} | -all] [-force | -evacuate]

-local:ローカルのクラスタエンジンを停止する。
-sys :特定のサーバ(Server_Name)のクラスタを停止する。
-evacuate:アクティブなサービスグループを別のサーバに移してから停止する。
-force:サービスグループを停止せずにクラスタエンジンを停止する。

■依存関係

・リソースの依存関係を表示
# hares -dep [Resource_Name]
#Group       Parent          Child
cvm          cvm_clus        cvm_vxconfigd
cvm          qlogckd         cvm_clus
cvm          vxfsckd         qlogckd
oracle       CFSMount_share1 CVMVolDg_oradg_01
oracle       CFSMount_share2 CVMVolDg_oradg_02
oracle       CFSMount_share3 CVMVolDg_oradg_03
oracle       CFSMount_share4 CVMVolDg_oradg_04
oracle       Listener_Ora    IPMP
oracle       OracleDB        CFSMount_share4
oracle       OracleDB        CFSMount_share3
oracle       OracleDB        CFSMount_share2
oracle       OracleDB        CFSMount_share1

・サービスグループの依存関係を表示
# hagrp -dep [Service Group]
#Parent      Child      Relationship
oracle       cvm        online local firm
oraas        cvm        online local soft
hulft        cvm        online local hard

※Firm依存とSoftソフトの違い
online local firm: Clildがオフラインになると、Parentもオフラインになる。
online local Soft: Clildがオフラインになっても、Parentはオンライン状態を維持できる。
その後、Childが他のノードでオンラインになれば、Parentはそのノードにスイッチする。

※hard依存とFirm/Soft依存の違い
Firm/Soft依存では、Parentグループの障害はChildに影響しない。
Hard依存では、Parentグループの障害は、その移行先があればChildに影響する。

設定例:
hagrp -link {Parent} {Child} online local soft
解除例:
hagrp -unlink {Parent} {Child}

その他:
online global {soft/Firm/hard}
offline local 等の設定もある。

■ADMIN_WAIT状態解除例
・その1
# hasys -force {HOST_NAME}
例:
# hasys -force deimosd11
VCS WARNING V-16-1-10027 System named deimosd11 not in STALE_ADMIN_WAIT or ADMIN_WAIT. Unable to force node into LOCAL_BUILD.

・その2
# hagrp -clearadminwait {GROUP} -sys {HOST_NAME}
例:
# hagrp -clearadminwait oracle -sys deimosd21
VCS NOTICE V-16-1-50140 Group does not contain any resource in ADMIN WAIT state on specified system

■I/O Fence 使用状況確認
# haclus -value UseFence;
SCSI3

・I/O Fencing コーディネータディスクのキー確認

# /sbin/vxfenadm -g all -f /etc/vxfentab

Device Name: /dev/rdsk/c2t43d2s2
Total Number Of Keys: 4
key[0]:
        Key Value [Numeric Format]:   65,45,45,45,45,45,45,45
        Key Value [Character Format]: A-------
key[1]:
        Key Value [Numeric Format]:   65,45,45,45,45,45,45,45
        Key Value [Character Format]: A-------
key[2]:
        Key Value [Numeric Format]:   66,45,45,45,45,45,45,45
        Key Value [Character Format]: B-------
key[3]:
        Key Value [Numeric Format]:   66,45,45,45,45,45,45,45
        Key Value [Character Format]: B-------

...

■調停Diskのキー情報が残っている場合、キーの削除の実行方法
/sbin/vxfenadm -x -k A /dev/rdsk/c2t43d2s2

VCS FEN vxfenadm NOTICE Deleted the key : [A-------] from device /dev/rdsk/c2t43d2s2

■I/O Fence用 ファイル
# ls -la /etc/vxfen*
-rwxrwxr-x   1 root     sys         2314  1月  1日 2005年 vxfen-startup
-rwxrwxr-x   1 root     sys         1720  1月  8日 2005年 vxfen-stop
-rw-r--r--   1 root     other          8  2月 28日 2005年 vxfendg
-rw-r--r--   1 root     root         120  6月 18日  20:27 vxfentab

# more vxfendg
vxfendg

# more vxfentab
/dev/rdsk/c2t43d0s2
/dev/rdsk/c3t40d0s2
/dev/rdsk/c2t43d1s2
/dev/rdsk/c3t40d1s2
/dev/rdsk/c2t43d2s2
/dev/rdsk/c3t40d2s2

■両ノードからI/Oフェンシングを再起動する。
# /etc/init.d/vxfen stop
Stopping vxfen..
Stopping vxfen.. Done

# /etc/init.d/vxfen start
Starting vxfen..
Starting vxfen.. Done
VCS FEN vxfenconfig NOTICE Driver will use SCSI-3 compliant disks.


■クラスタ関連パラメータ確認例
# haclus -disp

#Attribute          Value
Administrators      admin
AllowNativeCliUsers 0
AutoStartTimeout    150
ClusState           RUNNING
ClusterAddress
ClusterLocation
ClusterName         dbrac
ClusterOwner
ClusterTime         1166422935
ClusterUUID
CompareRSM          0
CounterInterval     5
DumpingMembership   0
EngineClass         RT
EnginePriority
GlobalCounter       581639
GroupLimit          200
HacliUserLevel      COMMANDROOT
LockMemory          ALL
LogSize             33554432
MajorVersion        4
MinorVersion        2
Notifier            State: none Host: none Severity: Information Queue: 30
Operators
PanicOnNoMem        0
PrintMsg            0
ProcessClass        TS
ProcessPriority
ReadOnly            1
ResourceLimit       5000
SourceFile          ./main.cf
Stewards
TypeLimit           100
UseFence            SCSI3
UserNames           admin
VCSFeatures         NONE
VCSMode             VCS_RAC
WACPort             14155

■ディスクにI/Oが発生していることの確認
# iostat -xnp 5
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    0.2    0.0    0.2  0.0  0.0    0.0    9.7   0   0 c0t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t0d0s0
...


■Critical属性について

・重要なリソースと重要でないリソース
リソースのCritical 属性により、リソースの障害発生時にサービスグループがフェイルオーバー
されるかどうかが決定されます。リソースが重要でないと設定(Critical 属性が0 に設定) されてお
り、障害が発生したリソースに依存するリソースが重要でない場合、このサービスグループは
フェイルオーバーされません。

VCS は、障害が発生したリソースをオフライン化し、グループの状態をONLINE|PARTIAL に更新します。
また、この属性により、サービスグループのオンライン手順でリソースがオンライン化されない場合に、
サービスグループが別のノードでオンライン化を試みるかどうかについても決定されます。

・Critical属性変更手順

# hares -disp | grep Critical

CFSMount_share1   Critical               global     1
CFSMount_share2   Critical               global     1
CVMVolDg_oradg_01 Critical               global     1
CVMVolDg_oradg_02 Critical               global     1
IPMP              Critical               global     0
Listener_Ora      Critical               global     0
OracleDB          Critical               global     0
ap_csrc_as        Critical               global     0
ap_csrc_asc       Critical               global     0
cvm_clus          Critical               global     1
cvm_vxconfigd     Critical               global     0
qlogckd           Critical               global     0
vxfsckd           Critical               global     1

# haconf -makerw

# hares -modify CFSMount_share1 Critical 0
※全ノード共通(ノードごとには指定できない。 -sys node )

# hares -disp | grep CFSMount_share1 | grep Critical

CFSMount_share1   Critical               global     0

# haconf -dump -makero

以上

■CFS の primary/secondaryについて
CFS の primary/secondary の概念は、CVM の master/slave とは
別の概念。

primary ノードの確認は、以下コマンドより確認可能。
/share 部分には、CFS のマウントポイントを指定。primary/secondary の
概念は、マウントポイント毎に設定される。

# fsclustadm -v showprimary /share
node01
 ※ 上記例では、/share というマウントポイントの primary ノードは、
    node01 とわかります。CFS クラスタに参加している node01以外のノードは、
    secondary となります。


■I/O 遅延の状況を確認(vxstat コマンド)
下記は、1秒間隔 (-i 1) で、oradg ディスクグループ内の vol01 の情報を確認する場合の書式です。

# vxstat -i 1 -g oradg vol01
                        OPERATIONS           BLOCKS        AVG TIME(ms)
TYP NAME              READ     WRITE      READ     WRITE   READ  WRITE

2007年06月18日 (月) 20時52分25秒
vol vol01             3714      1750     95254     24245    0.3    0.3

2007年06月18日 (月) 20時52分26秒
vol vol01                1         0        32         0    0.0    0.0
...

                  vxstat    ★1        vxstat    ★1
Master  #1 ----------|------===----------|-------===------------

                  vxstat    ★2         vxstat   ★2
Slave   #2 ----------|------====---------|-------====-----------

              VCS停止                VCS起動
Slave   #3 -----|----------------------|------------------------

■VxFSのバージョン確認
# modinfo | grep vxfs
121 782d8000 17171d   8   1  vxfs (VxFS 4.1_REV-MP1 SunOS 5.9)

# pkginfo -l VRTSvxfs
   PKGINST:  VRTSvxfs
      NAME:  VERITAS File System
  CATEGORY:  system,utilities
      ARCH:  sparc
   VERSION:  4.1,REV=4.1B18_sol_GA_s10b74L2a
   BASEDIR:  /
    VENDOR:  VERITAS Software
      DESC:  Commercial File System
    PSTAMP:  VERITAS-FS-4.1.1.0-2005-10-18-4.1MP1=119301-02  ←★ここ
...


■VRTSexplorer コマンド

各スクリプトを実行する場合には、root ユーザにて実行します。
環境変数の「LANG」 を必「C」に設定してから実行します。

環境変数の変更方法は次のとおりです。
    # LANG=C
    # export LANG

VRTSexplorer を実行する場合は、/VRTSexplorer/VRTSexplorer に
「-dbac」引数を付け実行してください。

    # cd /VRTSexplorer 
    # ./VRTSexplorer -dbac

       VRTSexplorer を実行するといくつかの質問があります。
       (1) Please enter case number は、そのままエンターキーを実行ください。
       (2) destination directory はデフォルトの /tmp を使用してください。
       (3) Restart VxVM Configuration Daemon? [y,n] は、デフォルトの "n" を
           入力してください。
       (z) 上記以外は質問の内容にしたがってください。

       実行が終了すると /tmp に VRTSexplorer_XXXX_YYYY.tar.Z というファイ
       ル(XXXX は hostid 、YYYY は nodename) が作成されますのでこれをお送
       り下さい。

■hagetcf コマンド
VRTSexplorerと違い、必要最小限のVERITAS関連情報を取得します。

VCS標準コマンドです。以下のディレクトリ配下にあります。
/opt/VRTSvcs/bin/hagetcf

実行手順は下記となります。

【実行ユーザはrootでお願いします】
root

【コマンドは以下となります(VERITAS用コマンドです)】
# /opt/VRTSvcs/bin/hagetcf
※このコマンドによるシステムへの影響は御座いません。

【実行例となります】
----------------------------------------------------------------
#/opt/VRTSvcs/bin/hagetcf
Saving 0.08 MB.                         ←出力されるログサイズです。
Enter path where configuration can be saved (default is /tmp ):  ←ログの出力先を指定して下さい。
↓...以下は実行時の出力となります。
Collecting package infos
Checking VCS package integrity
Collecting VCS information
Collecting system configuration
Collecting selected /etc files
Collecting files from /var/VRTSvcs/log
Collecting files from /var/VRTSvcs/lock
Collecting /var/adm/messages*
Collecting /var/log/syslog*
Collecting core files in /opt/VRTSvcs
Compressing /tmp/vcsconf.ss5b.tar to /tmp/vcsconf.XXXX.tar.Z   ←自動的に圧縮されたログファイル名です。
Done. Please e-mail /tmp/vcsconf.XXXX.tar.Z to your support provider.
----------------------------------------------------------------
と表示された後、指定したディレクトリに作成され終了します。

■application エージェント関係のスクリプト位置

/opt/VRTSvcs/bin/Application/actions

■リソースの作成例(ASリソース)
# haconf -makerw
# hagrp -add oraas_sg
VCS NOTICE V-16-1-10136 Group added; populating SystemList and setting the Parallel attribute recomm
ended before adding resources
# hagrp -modify oraas_sg SystemList node01 0 node02 1
# hagrp -modify oraas_sg AutoStartList node01
# hagrp -modify oraas_sg Parallel 1
# hagrp -display oraas_sg

●リソース追加
# hares -add ap_csrc_as Application oraas_sg
# hares -modify ap_csrc_as Critical 0
# hares -modify ap_csrc_as User ora904
# hares -modify ap_csrc_as StartProgram "/usr/sbin/asora start"
# hares -modify ap_csrc_as StopProgram "/usr/sbin/asora stop"
# hares -modify ap_csrc_as CleanProgram "/usr/sbin/asora clear"
# hares -modify ap_csrc_as MonitorProcesses  "/opt/oracle/product/9.0.4/opmn/bin/opmn -d"
# hares -modify ap_csrc_as Enabled 1

# hares -display ap_csrc_as | grep Enabled

# hares -add ap_csrc_asc Application oraas_sg
# hares -modify ap_csrc_asc Critical 0
# hares -modify ap_csrc_asc User ora904
# hares -modify ap_csrc_asc StartProgram "/usr/sbin/iasc start"
# hares -modify ap_csrc_asc StopProgram "/usr/sbin/iasc stop"
# hares -modify ap_csrc_asc CleanProgram "/usr/sbin/iasc clear"
# hares -modify ap_csrc_asc MonitorProcesses  "/opt/oracle/product/9.0.4/bin/emagent"
# hares -modify ap_csrc_asc Enabled 1

# haconf -dump -makero

■リソースを停止せずVCSを停止する方法
●VCS の強制停止を行います。
※VCS を強制停止した場合、停止したサーバ機のOracle Database 機能、
及び共有ファイル(クラスタファイル機能)は停止しません。推奨できる手順です。

    実行に当たって、messagesに出力されますVCS側メッセージは無視して
    頂くことと、プロセス監視ツールによる以下プロセスの存在チェックを
    無視して頂くようご配慮ください。
    
    「/opt/VRTSvcs/bin/XXXX (XXXXはhad等、複数存在)」

[停止コマンド]
# hastop -all -force
※全ノードのVCSが停止します。


■Oracleリソースを上げないでその他リソースのみ上げる方法(VCS自体は上がっている場合)
1. group cvm を ONLINE
# hagrp -online cvm -sys 

2. group oracle の下記リソースを ONLINE にします。
# hares -online  -sys 

  ※ 下位から起動
    マウントリソース
  - CFSMount CFSMount_share1
  - CFSMount CFSMount_share2
    ...
    ボリュームリソース
  - CVMVolDg CVMVolDg_oradg_01
  - CVMVolDg CVMVolDg_oradg_02
    ...
    

●VCS を停止させた上で、片系からのみ、マウントする方法。

mount -F vxfs -o cluster /dev/vx/dsk/oradg/vol01 /share1
mount -F vxfs -o cluster /dev/vx/dsk/oradg/vol02 /share2


●VCSが落ちている状態でマウントリソースまで上げる方法(Oracleは起動しない)
1.VCS の停止 
#hastop -all

2.ノードのスタート
# vxclustadm -m vcs -t gab startnode

3. コマンドを実行したノードが MASTER となっている事を確認します。
# vxclustadm nidmap
Name                             CVM Nid    CM Nid     State
deimosd11                        0          0          Joined: Slave
deimosd21                        1          1          Joined: Master

4. Volume が Enable Active になっている事を確認します。
# vxprint -htr

5. ファイルシステムのマウントを行います。
# mount -F vxfs -o cluster /dev ・・・・/mount_point

■■Applicationエージェントの場所
# cd /opt/VRTSvcs/bin/Application
# ls 
Application.xml          ApplicationDiscover.so   offline
ApplicationAgent         ApplicationDiscovery.pl  online

■■ApplicationのOnlineTimeout の変更方法

1)haconf -makerw
2)hatype -modify Application OnlineTimeout 600
3)haconf -dump -makero
4)hatype -disp Application | grep -i Online

もしくはtypes.cfに設定
type Application (
...
   static int OnlineTimeout = 600

※ただしVCS再起動必要

■■Oracleエージェントの場所
/opt/VRTSvcs/bin/Oracle

Oracle.xml(Oracle Agent用定義ファイル)

【内容抜粋】
----------------------------------------------------------------------
{ShutDownOpt type="str" dimension="Scalar" editable="True" 
 important="True" mustconfigure="False" unique="False" persistent="True" 
 default="IMMEDIATE" displayname="ShutDownOpt"}
 {attr_description} 
  Shutdown Options while shutting the Oracle instance
  {/attr_description}
    {possiblevalues}
       {value}IMMEDIATE{/value}
       {value}TRANSACTIONAL{/value}
       {value}SRVCTLSTOP{/value}
       {value}CUSTOM{/value}
       {/possiblevalues}
{/ShutDownOpt}
----------------------------------------------------------------------
※default="IMMEDIATE" これはdefault値。

他に、リソース設定ファイル(OracleTypes.cf)を確認。
もしここで設定を変えていなければ、default値でOK

/etc/VRTSvcs/conf/config
【OracleTypes.cf抜粋】
-----------------------------------------------------------
type Oracle (
	static str SupportedActions [] = {VRTS_GetInstanceName, 
VRTS_GetRunningServices,DBRestrict, 
DBUndoRestrict,DBResume,DBSuspend,DBTbspBackup}
	static str ArgList[] = { Sid, Owner, Home, Pfile, StartUpOpt, 
ShutDownOpt, EnvFile, AutoEndBkup, DetailMonitor, User, Pword, Table, 
MonScript, AgentDebug, Encoding }
	str Sid
	str Owner
	str Home
	str Pfile
	str StartUpOpt = STARTUP
	str ShutDownOpt = IMMEDIATE <==★
	str EnvFile
	boolean AutoEndBkup = 1
	int DetailMonitor
	str MonScript = "./bin/Oracle/SqlTest.pl"
	str User
	str Pword
	str Table
	boolean AgentDebug = 0
	str Encoding
)