Config
Posted in 2010
Topics: Performance & Tuning, Storage & Space Management, Transactions, Locking & Isolation, Logging & Checkpoints, Networking & sqlhosts Configuration, Platform-Specific Issues
I am doing an intial tune for a new instance of 11.5 64bit. All of our
previous instances have been 32bit so I am unsure about my current shared
memory config... do I have too many buffers? I am also wondering whether I can
safely add 1 or more CPU VP's.
The stats seem pretty good to me but I guess I expected more oomph (upgrading
from 9.4 32 bit on 5 year old metal).
Any suggestions greatly appreciated!
-Brian
OLTP Environment: IBM Blade 7778-23x, AIX 5.3, KAIO enabled
(IFMX_AIXKAIO_NUM_REQ 4096) with raw vg's over EMC san, 32GB RAM, Informix 11.5
(workgroup), 4 physical (8 logical) cpus.
###################################################################
Config
###################################################################
ROOTNAME rootdbs # Root dbspace nameROOTPATH /dev/lrootchk1prod # Path for device containing root dbspace
ROOTOFFSET 0 # Offset of root dbspace into device (Kbytes)
ROOTSIZE 20971520
MIRROR 0
MIRRORPATH $INFORMIXDIR/tmp/demo_on.root_mirror
MIRROROFFSET 0
###################################################################
# Physical Log Configuration Parameters
###################################################################
PHYSFILE 1048576
PLOG_OVERFLOW_PATH $INFORMIXDIR/tmp
PHYSBUFF 256
###################################################################
# Logical Log Configuration Parameters
###################################################################
LOGFILES 104
LOGSIZE 256000
DYNAMIC_LOGS 2
LOGBUFF 256
###################################################################
# Long Transaction Configuration Parameters
###################################################################
LTXHWM 80
LTXEHWM 85
###################################################################
# Tblspace Configuration Parameters
###################################################################
TBLTBLFIRST 0
TBLTBLNEXT 0
TBLSPACE_STATS 1
###################################################################
# Temporary dbspace and sbspace Configuration Parameters
###################################################################
DBSPACETEMP tempdbs
SBSPACETEMP
###################################################################
# Dbspace and sbspace Configuration Parameters
###################################################################
SBSPACENAME
SYSSBSPACENAME
ONDBSPACEDOWN 2
###################################################################
# System Configuration Parameters
###################################################################
SERVERNUM 30
DBSERVERNAME crocodile_shmDBSERVERALIASES crocodile_tcp,crocodile_net
###################################################################
# Network Configuration Parameters
###################################################################
NETTYPE ipcshm,1,50,CPU
LISTEN_TIMEOUT 60
MAX_INCOMPLETE_CONNECTIONS 1024
FASTPOLL 1
###################################################################
# CPU-Related Configuration Parameters
###################################################################
###################################################################
MULTIPROCESSOR 1
# CPU VP's cannot exceed # physical cpu's. Generally set to #cpu-1
VPCLASS cpu,num=3,max=6,noage
VP_MEMORY_CACHE_KB 4096
SINGLE_CPU_VP 0
###################################################################
# AIO and Cleaner-Related Configuration Parameters
###################################################################
#VPCLASS aio,num=1
CLEANERS 12AUTO_AIOVPS 1
DIRECT_IO 0
###################################################################
# Lock-Related Configuration Parameters
###################################################################
LOCKS 2000000
DEF_TABLE_LOCKMODE page
###################################################################
# Shared Memory Configuration Parameters
###################################################################
RESIDENT -1
SHMBASE 0x700000000000000L
SHMVIRTSIZE 3103785
SHMADD 3103785
EXTSHMADD 8192
SHMTOTAL 0
SHMVIRT_ALLOCSEG 0,3
SHMNOACCESS
###################################################################
# Checkpoint and System Block Configuration Parameters
###################################################################
CKPTINTVL 9999AUTO_CKPTS 1
RTO_SERVER_RESTART 0
BLOCKTIMEOUT 3600
###################################################################
# Transaction-Related Configuration Parameters
###################################################################
TXTIMEOUT 300
DEADLOCK_TIMEOUT 60
HETERO_COMMIT 0
###################################################################
# Data Dictionary Cache Configuration Parameters
###################################################################
DD_HASHSIZE 67
DD_HASHMAX 15
###################################################################
# Data Distribution Configuration Parameters
###################################################################
DS_HASHSIZE 31
DS_POOLSIZE 127
##################################################################
# User Defined Routine (UDR) Cache Configuration Parameters
##################################################################
PC_HASHSIZE 31
PC_POOLSIZE 127
###################################################################
# SQL Statement Cache Configuration Parameters
###################################################################
STMT_CACHE 0
STMT_CACHE_HITS 0
STMT_CACHE_SIZE 512
STMT_CACHE_NOLIMIT 0
STMT_CACHE_NUMPOOL 1
###################################################################
# Operating System Session-Related Configuration Parameters
###################################################################
USEOSTIME 0
STACKSIZE 64
ALLOW_NEWLINE 0
USELASTCOMMITTED NONE
###################################################################
# Index Related Configuration Parameters
###################################################################
FILLFACTOR 90
MAX_FILL_DATA_PAGES 0
BTSCANNER num=1,threshold=5000,rangesize=-1,alice=6,compression=default
ONLIDX_MAXMEM 5120
###################################################################
# Parallel Database Query (PDQ) Configuration Parameters
###################################################################
MAX_PDQPRIORITY 100
#DS_MAX_QUERIES 20
DS_TOTAL_MEMORY 2097152
DS_MAX_SCANS 1048576
DS_NONPDQ_QUERY_MEM 524288
DATASKIP
###################################################################
# Optimizer Configuration Parameters
###################################################################
OPTCOMPIND 2
DIRECTIVES 1
EXT_DIRECTIVES 0
OPT_GOAL -1
IFX_FOLDVIEW 0AUTO_REPREPARE 1
###################################################################
# Scan Configuration Parameters
###################################################################
RA_PAGES 180
RA_THRESHOLD 150
BATCHEDREAD_TABLE 0
############################################
Just glancing, but your BTR looks a little high. Some config suggestions
below.
Art
Art S. Kagel
Advanced DataTools (www.advancedatatools.com)
IIUG Board of Directors (art@iiug.org)
Disclaimer: Please keep in mind that my own opinions are my own opinions and
do not reflect on my employer, Advanced DataTools, the IIUG, nor any other
organization with which I am associated either explicitly, implicitly, or by
inference. Neither do those opinions reflect those of other individuals
affiliated with any entity with which I am affiliated nor those of the
entities themselves.
On Fri, Sep 17, 2010 at 3:45 PM, BRIAN FOSTER
<bfoster@manning-napier.com>wrote:
> I am doing an intial tune for a new instance of 11.5 64bit. All of our
> previous instances have been 32bit so I am unsure about my current shared
>
> memory config... do I have too many buffers? I am also wondering whether I
> can
> safely add 1 or more CPU VP's.
> The stats seem pretty good to me but I guess I expected more oomph
> (upgrading
> from 9.4 32 bit on 5 year old metal).
> Any suggestions greatly appreciated!
>
> -Brian
>
> OLTP Environment: IBM Blade 7778-23x, AIX 5.3, KAIO enabled
> (IFMX_AIXKAIO_NUM_REQ 4096) with raw vg's over EMC san, 32GB RAM, Informix
> 11.5
>
> (workgroup), 4 physical (8 logical) cpus.
>
> ###################################################################
> Config
> ###################################################################
> ROOTNAME rootdbs # Root dbspace name> ROOTPATH /dev/lrootchk1prod # Path for device containing root dbspace
> ROOTOFFSET 0 # Offset of root dbspace into device (Kbytes)
> ROOTSIZE 20971520>
> MIRROR 0
> MIRRORPATH $INFORMIXDIR/tmp/demo_on.root_mirror
> MIRROROFFSET 0>
> ###################################################################
> # Physical Log Configuration Parameters
> ###################################################################
> PHYSFILE 1048576
> PLOG_OVERFLOW_PATH $INFORMIXDIR/tmp
> PHYSBUFF 256>
> ###################################################################
> # Logical Log Configuration Parameters
> ###################################################################
> LOGFILES 104
> LOGSIZE 256000
> DYNAMIC_LOGS 2
> LOGBUFF 256>
> ###################################################################
> # Long Transaction Configuration Parameters
> ###################################################################
> LTXHWM 80
> LTXEHWM 85>
> ###################################################################
> # Tblspace Configuration Parameters
> ###################################################################
> TBLTBLFIRST 0
> TBLTBLNEXT 0
> TBLSPACE_STATS 1>
> ###################################################################
> # Temporary dbspace and sbspace Configuration Parameters
> ###################################################################
> DBSPACETEMP tempdbs>
Configure at least two more temp dbspaces
> SBSPACETEMP>
> ###################################################################
> # Dbspace and sbspace Configuration Parameters
> ###################################################################
> SBSPACENAME
> SYSSBSPACENAME
> ONDBSPACEDOWN 2>
> ###################################################################
> # System Configuration Parameters
> ###################################################################
> SERVERNUM 30
> DBSERVERNAME crocodile_shm> DBSERVERALIASES crocodile_tcp,crocodile_net
>
> ###################################################################
> # Network Configuration Parameters
> ###################################################################
> NETTYPE ipcshm,1,50,CPU>
You should have one SHM listener per CPU VP if this connection is used for
serious queries. I would use two if its just for maintenance in case one
hangs.
You should have a NETTYPE setup explicitely for the _tcp and _net
connections with two listeners in NET VPs.
> LISTEN_TIMEOUT 60
> MAX_INCOMPLETE_CONNECTIONS 1024
> FASTPOLL 1>
> ###################################################################
> # CPU-Related Configuration Parameters
> ###################################################################
> ###################################################################
>
> MULTIPROCESSOR 1>
> # CPU VP's cannot exceed # physical cpu's. Generally set to #cpu-1
> VPCLASS cpu,num=3,max=6,noage
>
With 8 cores as fast as these, I would go with 8-16 CPU VPs.
>
> VP_MEMORY_CACHE_KB 4096
> SINGLE_CPU_VP 0>
> ###################################################################
> # AIO and Cleaner-Related Configuration Parameters
> ###################################################################
> #VPCLASS aio,num=1
> CLEANERS 12> AUTO_AIOVPS 1
> DIRECT_IO 0>
> ###################################################################
> # Lock-Related Configuration Parameters
> ###################################################################
> LOCKS 2000000
> DEF_TABLE_LOCKMODE page>
> ###################################################################
> # Shared Memory Configuration Parameters
> ###################################################################
> RESIDENT -1
> SHMBASE 0x700000000000000L
> SHMVIRTSIZE 3103785
> SHMADD 3103785
> EXTSHMADD 8192
> SHMTOTAL 0
> SHMVIRT_ALLOCSEG 0,3
> SHMNOACCESS>
> ###################################################################
> # Checkpoint and System Block Configuration Parameters
> ###################################################################
> CKPTINTVL 9999> AUTO_CKPTS 1
> RTO_SERVER_RESTART 0
> BLOCKTIMEOUT 3600>
> ###################################################################
> # Transaction-Related Configuration Parameters
> ###################################################################
> TXTIMEOUT 300
> DEADLOCK_TIMEOUT 60
> HETERO_COMMIT 0>
> ###################################################################
> # Data Dictionary Cache Configuration Parameters
> ###################################################################
> DD_HASHSIZE 67
> DD_HASHMAX 15>
> ###################################################################
> # Data Distribution Configuration Parameters
> ###################################################################
> DS_HASHSIZE 31
> DS_POOLSIZE 127>
> ##################################################################
> # User Defined Routine (UDR) Cache Configuration Parameters
> ##################################################################
> PC_HASHSIZE 31
> PC_POOLSIZE 127>
> ###################################################################
> # SQL Statement Cache Configuration Parameters
> ###################################################################
> STMT_CACHE 0
> STMT_CACHE_HITS 0
> STMT_CACHE_SIZE 512
> STMT_CACHE_NOLIMIT 0
> STMT_CACHE_NUMPOOL 1>
> ###################################################################
> # O
BRIAN FOSTER wrote:
> I am doing an intial tune for a new instance of 11.5 64bit. All of our
> previous instances have been 32bit so I am unsure about my current shared
>
> memory config... do I have too many buffers? I am also wondering whether I
can
> safely add 1 or more CPU VP's.
You'd have to experiment, but my best guess would be 6 in total.
> The stats seem pretty good to me but I guess I expected more oomph (upgrading
> from 9.4 32 bit on 5 year old metal).
> Any suggestions greatly appreciated!
>
> -Brian
>
> OLTP Environment: IBM Blade 7778-23x, AIX 5.3, KAIO enabled
> (IFMX_AIXKAIO_NUM_REQ 4096) with raw vg's over EMC san, 32GB RAM, Informix
> 11.5
>
> (workgroup), 4 physical (8 logical) cpus.
>
> ###################################################################
> Config
> ###################################################################
> ROOTNAME rootdbs # Root dbspace name> ROOTPATH /dev/lrootchk1prod # Path for device containing root dbspace
> ROOTOFFSET 0 # Offset of root dbspace into device (Kbytes)
> ROOTSIZE 20971520>
> MIRROR 0
> MIRRORPATH $INFORMIXDIR/tmp/demo_on.root_mirror
> MIRROROFFSET 0>
> ###################################################################
> # Physical Log Configuration Parameters
> ###################################################################
> PHYSFILE 1048576
> PLOG_OVERFLOW_PATH $INFORMIXDIR/tmp
> PHYSBUFF 256>
> ###################################################################
> # Logical Log Configuration Parameters
> ###################################################################
> LOGFILES 104
> LOGSIZE 256000
> DYNAMIC_LOGS 2
> LOGBUFF 256
Post onstat -l output
> ###################################################################
> # Long Transaction Configuration Parameters
> ###################################################################
> LTXHWM 80
> LTXEHWM 85>
> ###################################################################
> # Tblspace Configuration Parameters
> ###################################################################
> TBLTBLFIRST 0
> TBLTBLNEXT 0
> TBLSPACE_STATS 1>
> ###################################################################
> # Temporary dbspace and sbspace Configuration Parameters
> ###################################################################
> DBSPACETEMP tempdbs
You probably could use at least 3 tempdbspaces.
> SBSPACETEMP>
> ###################################################################
> # Dbspace and sbspace Configuration Parameters
> ###################################################################
> SBSPACENAME
> SYSSBSPACENAME
> ONDBSPACEDOWN 2>
> ###################################################################
> # System Configuration Parameters
> ###################################################################
> SERVERNUM 30
> DBSERVERNAME crocodile_shm> DBSERVERALIASES crocodile_tcp,crocodile_net
>
> ###################################################################
> # Network Configuration Parameters
> ###################################################################
> NETTYPE ipcshm,1,50,CPU
Add: NETTYPE soctcp,4,1000,NET
> LISTEN_TIMEOUT 60
> MAX_INCOMPLETE_CONNECTIONS 1024
> FASTPOLL 1>
> ###################################################################
> # CPU-Related Configuration Parameters
> ###################################################################
> ###################################################################
>
> MULTIPROCESSOR 1>
> # CPU VP's cannot exceed # physical cpu's. Generally set to #cpu-1
> VPCLASS cpu,num=3,max=6,noage
> VP_MEMORY_CACHE_KB 4096
> SINGLE_CPU_VP 0>
> ###################################################################
> # AIO and Cleaner-Related Configuration Parameters
> ###################################################################
> #VPCLASS aio,num=1
> CLEANERS 12> AUTO_AIOVPS 1
> DIRECT_IO 0
> ###################################################################> # Lock-Related Configuration Parameters
> ###################################################################
> LOCKS 2000000
> DEF_TABLE_LOCKMODE page>
> ###################################################################
> # Shared Memory Configuration Parameters
> ###################################################################
> RESIDENT -1
> SHMBASE 0x700000000000000L
> SHMVIRTSIZE 3103785
> SHMADD 3103785
> EXTSHMADD 8192
> SHMTOTAL 0
> SHMVIRT_ALLOCSEG 0,3
> SHMNOACCESS>
> ###################################################################
> # Checkpoint and System Block Configuration Parameters
> ###################################################################
> CKPTINTVL 9999> AUTO_CKPTS 1
> RTO_SERVER_RESTART 0
> BLOCKTIMEOUT 3600>
> ###################################################################
> # Transaction-Related Configuration Parameters
> ###################################################################
> TXTIMEOUT 300
> DEADLOCK_TIMEOUT 60
> HETERO_COMMIT 0>
> ###################################################################
> # Data Dictionary Cache Configuration Parameters
> ###################################################################
> DD_HASHSIZE 67
> DD_HASHMAX 15>
> ###################################################################
> # Data Distribution Configuration Parameters
> ###################################################################
> DS_HASHSIZE 31
> DS_POOLSIZE 127>
> ##################################################################
> # User Defined Routine (UDR) Cache Configuration Parameters
> ##################################################################
> PC_HASHSIZE 31
> PC_POOLSIZE 127>
> ###################################################################
> # SQL Statement Cache Configuration Parameters
> ###################################################################
> STMT_CACHE 0
> STMT_CACHE_HITS 0
> STMT_CACHE_SIZE 512
> STMT_CACHE_NOLIMIT 0
> STMT_CACHE_NUMPOOL 1>
> ###################################################################
> # Operating System Session-Related Configuration Parameters
> ###################################################################
> USEOSTIME 0
> STACKSIZE 64
> ALLOW_NEWLINE 0
> USELASTCOMMITTED NONE>
> ###################################################################
> # Index Related Configuration Parameters
> ###################################################################
> FILLFACTOR 90
> MAX_FILL_DATA_PAGES 0
> BTSCANNER num=1,threshold=5000,rangesize=-1,alice=6,compression=default
> ONLIDX_MAXMEM 5120>
> ###################################################################
> # Parallel Database Query (PDQ) Configuration Parameters
> ###################################################################
> MAX_PDQPRIORITY 100
> #DS_MAX_QUERIES 20
> DS_TOTAL_MEMORY 2097152
> DS_MAX_SCANS 1048576
> DS_NONPDQ_QUERY_MEM 524288
> DATASKIP>
> ######