performancecopilot/pcp-website

Broken links on the pcp.io website

Closed this issue · 2 comments

Had some issues reading man pages on the website, so I spidered the site and greped out 404 errors

commands used:

  • wget --spider -o ~/wget.log -e robots=off -w 1 -r -p pcp.io
  • grep -B 2 '404' ~/wget.log |grep -- '--2018' |nl |pbcopy

out put:

     1	--2018-08-20 10:41:40--  https://pcp.io/source.html
     2	--2018-08-20 10:42:07--  https://pcp.io/man/man1/pmiostat.1.html
     3	--2018-08-20 10:42:14--  https://pcp.io/man/man8/vmstat.8.html
     4	--2018-08-20 10:42:56--  https://pcp.io/man/man5/utmp.5.html
     5	--2018-08-20 10:43:27--  https://pcp.io/man/man5/logarchive.5.html
     6	--2018-08-20 10:43:28--  https://pcp.io/man/man1/pidstat.1.html
     7	--2018-08-20 10:43:38--  https://pcp.io/man/man8/smartctl.8.html
     8	--2018-08-20 10:43:44--  https://pcp.io/man/man8/sa2.8.html
     9	--2018-08-20 10:43:48--  https://pcp.io/man/man1/pgbench.1.html
    10	--2018-08-20 10:43:53--  https://pcp.io/man/man1/systemctl.1.html
    11	--2018-08-20 10:43:59--  https://pcp.io/man/man3/pmdaextsetflags.3.html
    12	--2018-08-20 10:44:03--  https://pcp.io/man/man5/pmlogger.5.html
    13	--2018-08-20 10:44:04--  https://pcp.io/man/man1/grep.1.html
    14	--2018-08-20 10:44:08--  https://pcp.io/man/man1/pmcollectl.1.html
    15	--2018-08-20 10:44:09--  https://pcp.io/roadmap/window.location.href%20=%20'http://tasks.pcp.io/boards/cbEf5fxGPp8BrbGYS/roadmap'
    16	--2018-08-20 10:57:22--  https://pcp.io/man/man3i/__pmaf.3.html
    17	--2018-08-20 10:57:24--  https://pcp.io/man/man3i/__pmconnectlogger.3.html
    18	--2018-08-20 10:57:25--  https://pcp.io/man/man3i/__pmcontrollog.3.html
    19	--2018-08-20 10:57:26--  https://pcp.io/man/man3i/__pmconverttime.3.html
    20	--2018-08-20 10:57:27--  https://pcp.io/man/man3i/__pmlocalpmda.3.html
    21	--2018-08-20 10:57:29--  https://pcp.io/man/man3i/__pmlookupipc.3.html
    22	--2018-08-20 10:57:30--  https://pcp.io/man/man3i/__pmmktime.3.html
    23	--2018-08-20 10:57:31--  https://pcp.io/man/man3i/__pmparsectime.3.html
    24	--2018-08-20 10:57:32--  https://pcp.io/man/man3i/__pmparsetime.3.html
    25	--2018-08-20 10:57:33--  https://pcp.io/man/man3i/__pmprocessexec.3.html
    26	--2018-08-20 10:57:35--  https://pcp.io/man/man3i/__pmprocesspipe.3.html
    27	--2018-08-20 11:02:44--  https://pcp.io/news.html
    28	--2018-08-20 11:10:04--  https://pcp.io/man/man3/pcp::logimport.3.html
    29	--2018-08-20 11:10:06--  https://pcp.io/man/man1/c.1.html
    30	--2018-08-20 11:10:07--  https://pcp.io/man/man1/newgrp.1.html
    31	--2018-08-20 11:10:08--  https://pcp.io/man/man2/setgid.2.html
    32	--2018-08-20 11:10:09--  https://pcp.io/man/man1/xterm.1.html
    33	--2018-08-20 11:10:10--  https://pcp.io/man/man1/pcp-eventlog.1.html
    34	--2018-08-20 11:10:11--  https://pcp.io/man/man1/0.0.1.1.html
    35	--2018-08-20 11:10:13--  https://pcp.io/man/man1/sudo.1.html
    36	--2018-08-20 11:10:31--  https://pcp.io/man/man3/rrds.3.html
    37	--2018-08-20 11:10:33--  https://pcp.io/man/man1/dmsetup.1.html
    38	--2018-08-20 11:10:34--  https://pcp.io/man/man7/lvmcache.7.html
    39	--2018-08-20 11:10:35--  https://pcp.io/man/man1/ipcrm.1.html
    40	--2018-08-20 11:10:36--  https://pcp.io/man/man1/ipcmk.1.html
    41	--2018-08-20 11:10:37--  https://pcp.io/man/man2/msgrcv.2.html
    42	--2018-08-20 11:10:39--  https://pcp.io/man/man2/msgsnd.2.html
    43	--2018-08-20 11:10:40--  https://pcp.io/man/man2/semget.2.html
    44	--2018-08-20 11:10:41--  https://pcp.io/man/man2/semop.2.html
    45	--2018-08-20 11:10:42--  https://pcp.io/man/man2/shmat.2.html
    46	--2018-08-20 11:10:43--  https://pcp.io/man/man2/shmdt.2.html
    47	--2018-08-20 11:10:44--  https://pcp.io/man/man2/shmget.2.html
    48	--2018-08-20 11:10:46--  https://pcp.io/man/man1/kubectl.1.html
    49	--2018-08-20 11:10:47--  https://pcp.io/man/man1/kubectl-get.1.html
    50	--2018-08-20 11:10:48--  https://pcp.io/man/man1/mpstat.1.html
    51	--2018-08-20 11:10:49--  https://pcp.io/man/man8/sysctl.8.html
    52	--2018-08-20 11:10:50--  https://pcp.io/man/man3/perfevent.conf.3.html
    53	--2018-08-20 11:10:51--  https://pcp.io/man/man1/pmevent.1.html
    54	--2018-08-20 11:10:53--  https://pcp.io/man/man1/bcc.1.html
    55	--2018-08-20 11:10:54--  https://pcp.io/man/man1/bpf.1.html
    56	--2018-08-20 11:10:55--  https://pcp.io/man/man8/mount.cifs.8.html
    57	--2018-08-20 11:10:56--  https://pcp.io/man/man8/dmsetup.8.html
    58	--2018-08-20 11:10:57--  https://pcp.io/man/man8/dmstats.8.html
    59	--2018-08-20 11:10:59--  https://pcp.io/man/man1/docker.1.html
    60	--2018-08-20 11:11:00--  https://pcp.io/man/man5/gfs2.5.html
    61	--2018-08-20 11:11:01--  https://pcp.io/man/man8/mmpmon.8.html
    62	--2018-08-20 11:11:02--  https://pcp.io/man/man1/haproxy.1.html
    63	--2018-08-20 11:11:03--  https://pcp.io/man/man3/pmcontextnew.3.html
    64	--2018-08-20 11:11:05--  https://pcp.io/man/man1/virsh.1.html
    65	--2018-08-20 11:11:06--  https://pcp.io/man/man8/libvirtd.8.html
    66	--2018-08-20 11:11:07--  https://pcp.io/man/man1/llstat.1.html
    67	--2018-08-20 11:11:08--  https://pcp.io/man/man7/libmicmgmt.7.html
    68	--2018-08-20 11:11:09--  https://pcp.io/man/man8/nginx.8.html
    69	--2018-08-20 11:11:10--  https://pcp.io/man/man8/pdns_control.8.html
    70	--2018-08-20 11:11:12--  https://pcp.io/man/man1/rec_control.1.html
    71 	--2018-08-20 11:11:13--  https://pcp.io/man/man7/unix.7.html
    72	--2018-08-20 11:11:14--  https://pcp.io/man/man3/slurm.3.html
    73	--2018-08-20 11:11:15--  https://pcp.io/man/man8/unbound-control.8.html
    74	--2018-08-20 11:11:16--  https://pcp.io/man/man8/unbound.8.html
    75	--2018-08-20 11:11:18--  https://pcp.io/man/man1/pmdawebping.1.html
    76	--2018-08-20 11:11:19--  https://pcp.io/man/man3/pmparsedebug.3.html
    77	--2018-08-20 11:11:20--  https://pcp.io/man/man3/pmcleardebug.3.html
    78	--2018-08-20 11:11:21--  https://pcp.io/man/man1/env.1.html
    79	--2018-08-20 11:11:22--  https://pcp.io/man/man1/basename.1.html
    80	--2018-08-20 11:11:23--  https://pcp.io/man/man2/pause.2.html
    81	--2018-08-20 11:11:25--  https://pcp.io/man/man5/pmlaunch.5.html
    82	--2018-08-20 11:11:26--  https://pcp.io/man/man3/qmc_context.3.html
    83	--2018-08-20 11:11:27--  https://pcp.io/man/man3/qmc_group.3.html
    84	--2018-08-20 11:11:28--  https://pcp.io/man/man3/mmv_stats_resgistry.3.html
    85	--2018-08-20 11:11:29--  https://pcp.io/man/man2/mmv_stats.2.html
    86	--2018-08-20 11:11:30--  https://pcp.io/man/man3/pmgetprogname.3.html
    87	--2018-08-20 11:11:32--  https://pcp.io/man/man1/pwd.1.html
    88	--2018-08-20 11:11:33--  https://pcp.io/man/man1/pmnewhelp.1.html
    89	--2018-08-20 11:11:34--  https://pcp.io/man/man3/pmdacachestore.3.html
    90	--2018-08-20 11:11:36--  https://pcp.io/man/man3/setns.3.html
    91	--2018-08-20 11:11:37--  https://pcp.io/man/man3/pmerrstr_r.3.html
    92	--2018-08-20 11:11:38--  https://pcp.io/man/man3/setenv.3.html
    93	--2018-08-20 11:11:39--  https://pcp.io/man/man3/pmgetoptionalconfig.3.html
    94	--2018-08-20 11:11:40--  https://pcp.io/man/man3/pmjsoninit.3.html
    95	--2018-08-20 11:11:41--  https://pcp.io/man/man3/pmputvalue.3.html
    96	--2018-08-20 11:11:43--  https://pcp.io/man/man3/pmputvaluehandle.3.html
    97	--2018-08-20 11:11:44--  https://pcp.io/man/man3/pmiputrecord.3.html
    98	--2018-08-20 11:11:45--  https://pcp.io/man/man3/pmstart.3.html
    99	--2018-08-20 11:11:46--  https://pcp.io/man/man3/pmdacacheadd.3.html
   100	--2018-08-20 11:11:47--  https://pcp.io/man/man3/pmmergelabelsets.3.html
   101	--2018-08-20 11:11:49--  https://pcp.io/man/man2/getpid.2.html
   102	--2018-08-20 11:11:50--  https://pcp.io/man/man3/syslog.3.html
   103	--2018-08-20 11:11:51--  https://pcp.io/man/man3/pmregisterderivedmetric.3.html
   104	--2018-08-20 11:11:52--  https://pcp.io/man/man3/getpwnam.3.html
   105	--2018-08-20 11:11:53--  https://pcp.io/man/man3/setgid.3.html
   106	--2018-08-20 11:11:54--  https://pcp.io/man/man3/setuid.3.html
   107	--2018-08-20 11:11:56--  https://pcp.io/man/man3/vsnprintf.3.html
   108	--2018-08-20 11:11:57--  https://pcp.io/man/man2/time.2.html
   109	--2018-08-20 11:11:58--  https://pcp.io/man/man1/zabbix_get.1.html
   110	--2018-08-20 11:11:59--  https://pcp.io/man/man8/zabbix_agentd.8.html
   111	--2018-08-20 11:12:00--  https://pcp.io/man/man3/pmdbg.3.html
   112	--2018-08-20 11:12:01--  https://pcp.io/man/man3/pmafregister.3.html
   113	--2018-08-20 11:12:03--  https://pcp.io/man/man3/pmafunregister.3.html
   114	--2018-08-20 11:12:04--  https://pcp.io/man/man3/pmafblock.3.html
   115	--2018-08-20 11:12:05--  https://pcp.io/man/man3/pmafisempty.3.html
   116	--2018-08-20 11:12:06--  https://pcp.io/man/man3/pmdecodeprofile.3.html
   117	--2018-08-20 11:12:07--  https://pcp.io/man/man3/pmparsehostspec.3.html
   118	--2018-08-20 11:12:09--  https://pcp.io/man/man3/pmfreehostspec.3.html
   119	--2018-08-20 11:12:10--  https://pcp.io/man/man3/pmparsehostattrsspec.3.html
   120	--2018-08-20 11:12:11--  https://pcp.io/man/man3/mmv_stats2_init.3.html
   121	--2018-08-20 11:12:19--  https://pcp.io/books/PCP_UAG/html/Common_Content/css/lang.css
   122	--2018-08-20 11:13:25--  https://pcp.io/books/PCP_UAG/html-single/Common_Content/css/lang.css
   123	--2018-08-20 11:13:30--  https://pcp.io/books/PCP_PG/html/Common_Content/css/lang.css
   124	--2018-08-20 11:15:34--  https://pcp.io/books/PCP_PG/html-single/Common_Content/css/lang.css


btw that is China standard time

See also Marko's notes in issue #10 - in general, the man page links need a re-think. Currently the content is generated from a current PCP git repo and pcp-website scripts/{create-manindex.py,fix-manpages.py}

In the long run it might be better to link directly to the pages on www.mankier.com or man7.org instead of generating them ourselves.