深海游弋的鱼 – 默默的点滴

Ubuntu 22.04使用Podman部署OpenGrok的详细教程

安装必要的依赖:

# 安装 podman
$ sudo apt install podman

# 安装 git
$ sudo apt install git

# 创建一个低权限用户，尽量不要使用root用户，身份操作podman,降低安全风险
$ sudo adduser podman

# 允许用户下的容器在系统启动的时候启动服务
$ sudo loginctl enable-linger podman

# 切换到刚刚创建的低权限用户 ,注意，必须使用 su - user 的方式切换
# 如果使用 su user 切换会导致环境变量被带到新用户，导致执行报错
# ERRO[0000] XDG_RUNTIME_DIR directory "/run/user/1000" is not owned by the current user 

$ su - podman

# 准备本地目录映射
$ mkdir ~/.dockers

$ mkdir ~/.dockers/opengrok

# 准备已经处理过的源代码，源代码需要 src、etc、data 三个目录，src存储源代码，其他目录保持空即可
# 参考 https://www.mobibrw.com/2019/19162
# 更详细的处理参考官方文档即可，后续我们以 Android 4.2.2 的源代码为例子

# Android 4.2.2 源代码存放在 ~/.dockers/opengrok/Android_4.2.2/src
$ mkdir ~/.dockers/opengrok/Android_4.2.2/src

$ mkdir ~/.dockers/opengrok/Android_4.2.2/etc

$ mkdir ~/.dockers/opengrok/Android_4.2.2/data

# 手工拉去部分镜像，或者可以在 /etc/containers/registries.conf 配置镜像服务器，可省略前面的服务器 docker.io
$ podman pull docker.io/library/tomcat:10-jdk17

$ podman pull docker.io/library/tomcat:10.1-jdk17

# 安装 podman

$ sudo apt install podman

# 安装 git

$ sudo apt install git

# 创建一个低权限用户，尽量不要使用root用户，身份操作podman,降低安全风险

$ sudo adduser podman

# 允许用户下的容器在系统启动的时候启动服务

$ sudo loginctl enable-linger podman

# 切换到刚刚创建的低权限用户 ,注意，必须使用 su - user 的方式切换

# 如果使用 su user 切换会导致环境变量被带到新用户，导致执行报错

# ERRO[0000] XDG_RUNTIME_DIR directory "/run/user/1000" is not owned by the current user

$ su - podman

# 准备本地目录映射

$ mkdir ~/.dockers

$ mkdir ~/.dockers/opengrok

# 准备已经处理过的源代码，源代码需要 src、etc、data 三个目录，src存储源代码，其他目录保持空即可

# 参考 https://www.mobibrw.com/2019/19162

# 更详细的处理参考官方文档即可，后续我们以 Android 4.2.2 的源代码为例子

# Android 4.2.2 源代码存放在 ~/.dockers/opengrok/Android_4.2.2/src

$ mkdir ~/.dockers/opengrok/Android_4.2.2/src

$ mkdir ~/.dockers/opengrok/Android_4.2.2/etc

$ mkdir ~/.dockers/opengrok/Android_4.2.2/data

# 手工拉去部分镜像，或者可以在 /etc/containers/registries.conf 配置镜像服务器，可省略前面的服务器 docker.io

$ podman pull docker.io/library/tomcat:10-jdk17

$ podman pull docker.io/library/tomcat:10.1-jdk17

官方镜像会在报错的时候暴露 Tomcat 10 版本号，错误堆栈，构成安全隐患，我们需要通过构建自定义镜像解决此问题:

# 目前最新代码 commit ad9658443340a6dae425d94ab7cb0cc9d74fb37f
$ git clone https://github.com/oracle/opengrok.git

$ cd opengrok

# 设置 maven 国内代理，否则下载速度太慢了 
$ find . -type f -exec grep -l "repo.maven" {} \; | xargs sed -i "s/repo.maven.apache.org\/maven2\//mirrors.cloud.tencent.com\/nexus\/repository\/maven-public\//"

# 设置 Maven Wrapper 国内源
$ sed -i "s/repo.maven.apache.org\/maven2\//mirrors.cloud.tencent.com\/nexus\/repository\/maven-public\//" .mvn/wrapper/maven-wrapper.properties

# 代码中使用的 linux 系统镜像版本，我们需要明确告知 podman 从 docker.io 获取
$ sed -i "s/ubuntu:jammy/docker.io\/ubuntu:jammy/g" Dockerfile

# 代码中使用的 Tomcat 镜像版本，不能通过 docker.io 获取到，我们直接使用通用 Tomcat 10 版本
$ sed -i "s/tomcat:10.1.19-jdk17/docker.io\/library\/tomcat:10.1-jdk17/g" Dockerfile

# 目前最新代码 commit ad9658443340a6dae425d94ab7cb0cc9d74fb37f

$ git clone https://github.com/oracle/opengrok.git

$ cd opengrok

# 设置 maven 国内代理，否则下载速度太慢了

$ find . -type f -exec grep -l "repo.maven" {} \; | xargs sed -i "s/repo.maven.apache.org\/maven2\//mirrors.cloud.tencent.com\/nexus\/repository\/maven-public\//"

# 设置 Maven Wrapper 国内源

$ sed -i "s/repo.maven.apache.org\/maven2\//mirrors.cloud.tencent.com\/nexus\/repository\/maven-public\//" .mvn/wrapper/maven-wrapper.properties

# 代码中使用的 linux 系统镜像版本，我们需要明确告知 podman 从 docker.io 获取

$ sed -i "s/ubuntu:jammy/docker.io\/ubuntu:jammy/g" Dockerfile

# 代码中使用的 Tomcat 镜像版本，不能通过 docker.io 获取到，我们直接使用通用 Tomcat 10 版本

$ sed -i "s/tomcat:10.1.19-jdk17/docker.io\/library\/tomcat:10.1-jdk17/g" Dockerfile

内容如下：

# Copyright (c) 2018, 2021 Oracle and/or its affiliates. All rights reserved.
# Portions Copyright (c) 2020, Chris Fraire <cfraire@me.com>.

FROM docker.io/ubuntu:jammy AS build

# hadolint ignore=DL3008
RUN apt-get update && apt-get install --no-install-recommends -y openjdk-17-jdk python3 python3-venv && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

# Create a first layer to cache the "Maven World" in the local repository.
# Incremental docker builds will always resume after that, unless you update the pom
WORKDIR /mvn
COPY pom.xml /mvn/
COPY mvnw /mvn/
COPY .mvn /mvn/.mvn
COPY opengrok-indexer/pom.xml /mvn/opengrok-indexer/
COPY opengrok-web/pom.xml /mvn/opengrok-web/
COPY plugins/pom.xml /mvn/plugins/
COPY suggester/pom.xml /mvn/suggester/

# distribution and tools do not have dependencies to cache
RUN sed -i 's:<module>distribution</module>::g' /mvn/pom.xml && \
    sed -i 's:<module>tools</module>::g' /mvn/pom.xml && \
    mkdir -p /mvn/opengrok-indexer/target/jflex-sources && \
    mkdir -p /mvn/opengrok-web/src/main/webapp/js && \
    mkdir -p /mvn/opengrok-web/src/main/webapp/WEB-INF/ && \
    touch /mvn/opengrok-web/src/main/webapp/WEB-INF/web.xml

# dummy build to cache the dependencies
RUN ./mvnw -DskipTests -Dcheckstyle.skip -Dmaven.antrun.skip package

# build the project
COPY ./ /opengrok-source
WORKDIR /opengrok-source

RUN /mvn/mvnw -DskipTests=true -Dmaven.javadoc.skip=true -B -V package
# hadolint ignore=SC2012,DL4006
RUN cp `ls -t distribution/target/*.tar.gz | head -1` /opengrok.tar.gz

# Store the version in a file so that the tools can report it.
RUN /mvn/mvnw help:evaluate -Dexpression=project.version -q -DforceStdout > /mvn/VERSION

FROM docker.io/library/tomcat:10.1-jdk17
LABEL maintainer="https://github.com/oracle/opengrok"

# Add Perforce apt source.
# hadolint ignore=DL3008,DL3009
RUN apt-get update && \
    apt-get install --no-install-recommends -y gnupg2
SHELL ["/bin/bash", "-o", "pipefail", "-c"]
# hadolint ignore=DL3059
RUN curl -sS https://package.perforce.com/perforce.pubkey | gpg --dearmor > /etc/apt/trusted.gpg.d/perforce.gpg
# hadolint ignore=DL3059
RUN echo 'deb https://package.perforce.com/apt/ubuntu jammy release' > /etc/apt/sources.list.d/perforce.list

# install dependencies and Python tools
# hadolint ignore=DL3008,DL3009
RUN apt-get update && \
    apt-get install --no-install-recommends -y git subversion mercurial cvs cssc bzr rcs rcs-blame \
    unzip python3 python3-pip \
    python3-venv python3-setuptools openssh-client libyaml-dev

# hadolint ignore=DL3008,DL3059
RUN architecture=$(uname -m) && if [[ "$architecture" == "aarch64" ]]; then \
        echo "aarch64: do not install helix-p4d."; else \
        apt-get install --no-install-recommends -y helix-p4d; fi

# compile and install universal-ctags
# hadolint ignore=DL3003,DL3008
RUN apt-get install --no-install-recommends -y pkg-config automake build-essential && \
    git clone https://github.com/universal-ctags/ctags /root/ctags && \
    cd /root/ctags && ./autogen.sh && ./configure && make && make install && \
    apt-get remove -y automake build-essential && \
    apt-get -y autoremove && apt-get -y autoclean && \
    cd /root && rm -rf /root/ctags && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

# 设置国内源，否则大概率不成功
RUN python3 -m pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# Update the Python tooling in order to successfully install the opengrok-tools package.
# hadolint ignore=DL3013
RUN python3 -m pip install --no-cache-dir --upgrade pip setuptools

# prepare OpenGrok binaries and directories
# hadolint ignore=DL3010
COPY --from=build opengrok.tar.gz /opengrok.tar.gz
# hadolint ignore=DL3013
RUN mkdir -p /opengrok /opengrok/etc /opengrok/data /opengrok/src && \
    tar -zxvf /opengrok.tar.gz -C /opengrok --strip-components 1 && \
    rm -f /opengrok.tar.gz && \
    python3 -m pip install --no-cache-dir /opengrok/tools/opengrok-tools.tar.gz && \
    python3 -m pip install --no-cache-dir Flask Flask-HTTPAuth waitress # for /reindex REST endpoint handled by start.py

COPY --from=build /mvn/VERSION /opengrok/VERSION

# environment variables
ENV SRC_ROOT /opengrok/src
ENV DATA_ROOT /opengrok/data
ENV URL_ROOT /
ENV CATALINA_HOME /usr/local/tomcat
ENV CATALINA_BASE /usr/local/tomcat
ENV CATALINA_TMPDIR /usr/local/tomcat/temp
ENV PATH $CATALINA_HOME/bin:$PATH
ENV CLASSPATH /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
ENV JAVA_OPTS="--add-exports=java.base/jdk.internal.ref=ALL-UNNAMED --add-exports=java.base/sun.nio.ch=ALL-UNNAMED \
--add-exports=jdk.unsupported/sun.misc=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.file=ALL-UNNAMED \
--add-opens=jdk.compiler/com.sun.tools.javac=ALL-UNNAMED --add-opens=java.base/java.lang=ALL-UNNAMED \
--add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED \
--add-opens=java.base/java.util=ALL-UNNAMED"

# disable all file logging
COPY docker/logging.properties /usr/local/tomcat/conf/logging.properties
RUN sed -i -e 's/Valve/Disabled/' /usr/local/tomcat/conf/server.xml

# add our scripts and configuration
COPY docker /scripts
RUN chmod -R +x /scripts

# 关闭报错详情，这个会导致安全风险
RUN sed -i "s/<\/Host>/  <Valve className='org.apache.catalina.valves.ErrorReportValve' showReport='false' showServerInfo='false' \/>\n\t<\/Host>/" /usr/local/tomcat/conf/server.xml
 
# 配置AJP协议
# 如果只希望通过 AJP访问，可以参考如下命令 移除原有的 AJP 协议配置
# RUN xmlstarlet ed -L -P -S -d '/Server/Service/Connector' /usr/local/tomcat/conf/server.xml
 
# 增加新的协议配置
RUN sed -i "s/<\/Service>/  <Connector port='8009' protocol='AJP\/1.3' address='0.0.0.0' redirectPort='8443' secretRequired=''\/>\n <\/Service>/" /usr/local/tomcat/conf/server.xml

# run
WORKDIR $CATALINA_HOME
EXPOSE 8080
CMD ["/scripts/start.py"]

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

FROM docker.io/ubuntu:jammy AS build

# hadolint ignore=DL3008

RUN apt-get update && apt-get install --no-install-recommends -y openjdk-17-jdk python3 python3-venv && \

apt-get clean && \

rm -rf /var/lib/apt/lists/*

# Create a first layer to cache the "Maven World" in the local repository.

# Incremental docker builds will always resume after that, unless you update the pom

WORKDIR /mvn

COPY pom.xml /mvn/

COPY mvnw /mvn/

COPY .mvn /mvn/.mvn

COPY opengrok-indexer/pom.xml /mvn/opengrok-indexer/

COPY opengrok-web/pom.xml /mvn/opengrok-web/

COPY plugins/pom.xml /mvn/plugins/

COPY suggester/pom.xml /mvn/suggester/

# distribution and tools do not have dependencies to cache

RUN sed -i 's:<module>distribution</module>::g' /mvn/pom.xml && \

sed -i 's:<module>tools</module>::g' /mvn/pom.xml && \

mkdir -p /mvn/opengrok-indexer/target/jflex-sources && \

mkdir -p /mvn/opengrok-web/src/main/webapp/js && \

mkdir -p /mvn/opengrok-web/src/main/webapp/WEB-INF/ && \

touch /mvn/opengrok-web/src/main/webapp/WEB-INF/web.xml

# dummy build to cache the dependencies

RUN ./mvnw -DskipTests -Dcheckstyle.skip -Dmaven.antrun.skip package

# build the project

COPY ./ /opengrok-source

WORKDIR /opengrok-source

RUN /mvn/mvnw -DskipTests=true -Dmaven.javadoc.skip=true -B -V package

# hadolint ignore=SC2012,DL4006

RUN cp `ls -t distribution/target/*.tar.gz | head -1` /opengrok.tar.gz

# Store the version in a file so that the tools can report it.

RUN /mvn/mvnw help:evaluate -Dexpression=project.version -q -DforceStdout > /mvn/VERSION

FROM docker.io/library/tomcat:10.1-jdk17

LABEL maintainer="https://github.com/oracle/opengrok"

# Add Perforce apt source.

# hadolint ignore=DL3008,DL3009

RUN apt-get update && \

apt-get install --no-install-recommends -y gnupg2

SHELL ["/bin/bash", "-o", "pipefail", "-c"]

# hadolint ignore=DL3059

RUN curl -sS https://package.perforce.com/perforce.pubkey | gpg --dearmor > /etc/apt/trusted.gpg.d/perforce.gpg

# hadolint ignore=DL3059

RUN echo 'deb https://package.perforce.com/apt/ubuntu jammy release' > /etc/apt/sources.list.d/perforce.list

# install dependencies and Python tools

# hadolint ignore=DL3008,DL3009

RUN apt-get update && \

apt-get install --no-install-recommends -y git subversion mercurial cvs cssc bzr rcs rcs-blame \

unzip python3 python3-pip \

python3-venv python3-setuptools openssh-client libyaml-dev

# hadolint ignore=DL3008,DL3059

RUN architecture=$(uname -m) && if [[ "$architecture" == "aarch64" ]]; then \

echo "aarch64: do not install helix-p4d."; else \

apt-get install --no-install-recommends -y helix-p4d; fi

# compile and install universal-ctags

# hadolint ignore=DL3003,DL3008

RUN apt-get install --no-install-recommends -y pkg-config automake build-essential && \

git clone https://github.com/universal-ctags/ctags /root/ctags && \

cd /root/ctags && ./autogen.sh && ./configure && make && make install && \

apt-get remove -y automake build-essential && \

apt-get -y autoremove && apt-get -y autoclean && \

cd /root && rm -rf /root/ctags && \

apt-get clean && \

rm -rf /var/lib/apt/lists/*

# 设置国内源，否则大概率不成功

RUN python3 -m pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# Update the Python tooling in order to successfully install the opengrok-tools package.

# hadolint ignore=DL3013

RUN python3 -m pip install --no-cache-dir --upgrade pip setuptools

# prepare OpenGrok binaries and directories

# hadolint ignore=DL3010

COPY --from=build opengrok.tar.gz /opengrok.tar.gz

# hadolint ignore=DL3013

RUN mkdir -p /opengrok /opengrok/etc /opengrok/data /opengrok/src && \

tar -zxvf /opengrok.tar.gz -C /opengrok --strip-components 1 && \

rm -f /opengrok.tar.gz && \

python3 -m pip install --no-cache-dir /opengrok/tools/opengrok-tools.tar.gz && \

python3 -m pip install --no-cache-dir Flask Flask-HTTPAuth waitress # for /reindex REST endpoint handled by start.py

COPY --from=build /mvn/VERSION /opengrok/VERSION

# environment variables

ENV SRC_ROOT /opengrok/src

ENV DATA_ROOT /opengrok/data

ENV URL_ROOT /

ENV CATALINA_HOME /usr/local/tomcat

ENV CATALINA_BASE /usr/local/tomcat

ENV CATALINA_TMPDIR /usr/local/tomcat/temp

ENV PATH $CATALINA_HOME/bin:$PATH

ENV CLASSPATH /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar

ENV JAVA_OPTS="--add-exports=java.base/jdk.internal.ref=ALL-UNNAMED --add-exports=java.base/sun.nio.ch=ALL-UNNAMED \

--add-exports=jdk.unsupported/sun.misc=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.file=ALL-UNNAMED \

--add-opens=jdk.compiler/com.sun.tools.javac=ALL-UNNAMED --add-opens=java.base/java.lang=ALL-UNNAMED \

--add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED \

--add-opens=java.base/java.util=ALL-UNNAMED"

# disable all file logging

COPY docker/logging.properties /usr/local/tomcat/conf/logging.properties

RUN sed -i -e 's/Valve/Disabled/' /usr/local/tomcat/conf/server.xml

# add our scripts and configuration

COPY docker /scripts

RUN chmod -R +x /scripts

# 关闭报错详情，这个会导致安全风险

RUN sed -i "s/<\/Host>/ <Valve className='org.apache.catalina.valves.ErrorReportValve' showReport='false' showServerInfo='false' \/>\n\t<\/Host>/" /usr/local/tomcat/conf/server.xml

# 配置AJP协议

# 如果只希望通过 AJP访问，可以参考如下命令移除原有的 AJP 协议配置

# RUN xmlstarlet ed -L -P -S -d '/Server/Service/Connector' /usr/local/tomcat/conf/server.xml

# 增加新的协议配置

RUN sed -i "s/<\/Service>/ <Connector port='8009' protocol='AJP\/1.3' address='0.0.0.0' redirectPort='8443' secretRequired=''\/>\n <\/Service>/" /usr/local/tomcat/conf/server.xml

# run

WORKDIR $CATALINA_HOME

EXPOSE 8080

CMD ["/scripts/start.py"]

构建镜像：

$ podman --cgroup-manager=cgroupfs build -t opengrok-dev .

1	$ podman --cgroup-manager=cgroupfs build -t opengrok-dev .

设置容器:

$ podman stop android-4.2.2

$ podman rm android-4.2.2

# 启动一个 tomcat 容器 8081 HTTP 访问端口 8010 AJP访问端口
# 注意，Docker 镜像会自动 每隔10分钟进行一次自动索引重建，不需要手动进行索引操作，
# 如果需要进行反向代理，则 OPENGROK_WEBAPP_CONTEXT 环境变量是无效的，
# Docker 需要使用 URL_ROOT 进行配置
# 详细配置信息参考源代码目录下的 docker/README.md
# 配置 SYNC_PERIOD_MINUTES=0 禁止周期性重建索引，但是容器重启的时候仍然会自动重建
# 多个容器的情况下，需要限制容器使用的CPU、内存资源，否则会导致宿主机内存不足，这个需要特别注意
# 这里我们分配两个核心给容器，一般限制核心也可以限制并发的Java进程，从而间接可以限制内存占用
# 同时应该限制容器内的同步线程数量 "WORKERS=1"，否则极易引起宿主机的OOM 
# podman run -d --cpus=2 --name opengrok-android-4.2.2 -p 8081:8080/tcp -p 8010:8009 -v ~/opengrok-src/:/opengrok/src/ -v ~/opengrok-etc/:/opengrok/etc/ -v ~/opengrok-data/:/opengrok/data/ -e "URL_ROOT=Android_4.2.2" -e "SYNC_PERIOD_MINUTES=0" -e "WORKERS=1" localhost/opengrok-dev

$ podman run -d --cpus=2 --name opengrok-android-4.2.2 -p 8081:8080/tcp -p 8010:8009 -v /home/podman/.dockers/opengrok/Android_4.2.2/src:/opengrok/src/ -v /home/podman/.dockers/opengrok/Android_4.2.2/etc/:/opengrok/etc/ -v /home/podman/.dockers/opengrok/Android_4.2.2/data/:/opengrok/data/ -e "URL_ROOT=Android_4.2.2" -e "SYNC_PERIOD_MINUTES=0" -e "WORKERS=1" localhost/opengrok-dev

# 查看该容器
$ podman ps

# 如果需要进入容器查看执行情况，参考如下命令
# podman exec -it opengrok-android-4.2.2 bash

# 查看日志
# podman logs -f -t opengrok-android-4.2.2

# 每次都启动新容器方式创建servcie //--new参数，每次启动都删除旧容器，启动一个新容器 
$ podman generate systemd --restart-policy=always -n --new -f android-4.2.2

$ podman stop android-4.2.2

$ podman rm android-4.2.2

# 启动一个 tomcat 容器 8081 HTTP 访问端口 8010 AJP访问端口

# 注意，Docker 镜像会自动每隔10分钟进行一次自动索引重建，不需要手动进行索引操作，

# 如果需要进行反向代理，则 OPENGROK_WEBAPP_CONTEXT 环境变量是无效的，

# Docker 需要使用 URL_ROOT 进行配置

# 详细配置信息参考源代码目录下的 docker/README.md

# 配置 SYNC_PERIOD_MINUTES=0 禁止周期性重建索引，但是容器重启的时候仍然会自动重建

# 多个容器的情况下，需要限制容器使用的CPU、内存资源，否则会导致宿主机内存不足，这个需要特别注意

# 这里我们分配两个核心给容器，一般限制核心也可以限制并发的Java进程，从而间接可以限制内存占用

# 同时应该限制容器内的同步线程数量 "WORKERS=1"，否则极易引起宿主机的OOM

# podman run -d --cpus=2 --name opengrok-android-4.2.2 -p 8081:8080/tcp -p 8010:8009 -v ~/opengrok-src/:/opengrok/src/ -v ~/opengrok-etc/:/opengrok/etc/ -v ~/opengrok-data/:/opengrok/data/ -e "URL_ROOT=Android_4.2.2" -e "SYNC_PERIOD_MINUTES=0" -e "WORKERS=1" localhost/opengrok-dev

$ podman run -d --cpus=2 --name opengrok-android-4.2.2 -p 8081:8080/tcp -p 8010:8009 -v /home/podman/.dockers/opengrok/Android_4.2.2/src:/opengrok/src/ -v /home/podman/.dockers/opengrok/Android_4.2.2/etc/:/opengrok/etc/ -v /home/podman/.dockers/opengrok/Android_4.2.2/data/:/opengrok/data/ -e "URL_ROOT=Android_4.2.2" -e "SYNC_PERIOD_MINUTES=0" -e "WORKERS=1" localhost/opengrok-dev

# 查看该容器

$ podman ps

# 如果需要进入容器查看执行情况，参考如下命令

# podman exec -it opengrok-android-4.2.2 bash

# 查看日志

# podman logs -f -t opengrok-android-4.2.2

# 每次都启动新容器方式创建servcie //--new参数，每次启动都删除旧容器，启动一个新容器

$ podman generate systemd --restart-policy=always -n --new -f android-4.2.2

查看启动文件:

$ cat container-opengrok-android-4.2.2.service

1	$ cat container-opengrok-android-4.2.2.service

内容如下：

# container-opengrok-android-4.2.2.service
# autogenerated by Podman 3.4.4
# Fri Mar 22 10:41:54 CST 2024

[Unit]
Description=Podman container-opengrok-android-4.2.2.service
Documentation=man:podman-generate-systemd(1)
Wants=network-online.target
After=network-online.target
RequiresMountsFor=%t/containers

[Service]
Environment=PODMAN_SYSTEMD_UNIT=%n
Restart=always
TimeoutStopSec=70
ExecStartPre=/bin/rm -f %t/%n.ctr-id
ExecStart=/usr/bin/podman run --cidfile=%t/%n.ctr-id --cgroups=no-conmon --rm --sdnotify=conmon --replace -d --cpus=2 --name opengrok-android-4.2.2 -p 8081:8080/tcp -p 8010:8009 -v /home/podman/.dockers/opengrok/Android_4.2.2/src:/opengrok/src/ -v /home/podman/.dockers/opengrok/Android_4.2.2/etc/:/opengrok/etc/ -v /home/podman/.dockers/opengrok/Android_4.2.2/data/:/opengrok/data/ -e "URL_ROOT=Android_4.2.2" -e "SYNC_PERIOD_MINUTES=0" -e "WORKERS=1" localhost/opengrok-dev
ExecStop=/usr/bin/podman stop --ignore --cidfile=%t/%n.ctr-id
ExecStopPost=/usr/bin/podman rm -f --ignore --cidfile=%t/%n.ctr-id
Type=notify
NotifyAccess=all

[Install]
WantedBy=default.target

# container-opengrok-android-4.2.2.service

# autogenerated by Podman 3.4.4

# Fri Mar 22 10:41:54 CST 2024

[Unit]

Description=Podman container-opengrok-android-4.2.2.service

Documentation=man:podman-generate-systemd(1)

Wants=network-online.target

After=network-online.target

RequiresMountsFor=%t/containers

[Service]

Environment=PODMAN_SYSTEMD_UNIT=%n

Restart=always

TimeoutStopSec=70

ExecStartPre=/bin/rm -f %t/%n.ctr-id

ExecStart=/usr/bin/podman run --cidfile=%t/%n.ctr-id --cgroups=no-conmon --rm --sdnotify=conmon --replace -d --cpus=2 --name opengrok-android-4.2.2 -p 8081:8080/tcp -p 8010:8009 -v /home/podman/.dockers/opengrok/Android_4.2.2/src:/opengrok/src/ -v /home/podman/.dockers/opengrok/Android_4.2.2/etc/:/opengrok/etc/ -v /home/podman/.dockers/opengrok/Android_4.2.2/data/:/opengrok/data/ -e "URL_ROOT=Android_4.2.2" -e "SYNC_PERIOD_MINUTES=0" -e "WORKERS=1" localhost/opengrok-dev

ExecStop=/usr/bin/podman stop --ignore --cidfile=%t/%n.ctr-id

ExecStopPost=/usr/bin/podman rm -f --ignore --cidfile=%t/%n.ctr-id

Type=notify

NotifyAccess=all

[Install]

WantedBy=default.target

需要额外注意的一个地方是，给出的路径必须是完整路径 “/home/podman/.dockers/opengrok/Android_4.2.2/src”，不能是 “~/.dockers/opengrok/Android_4.2.2/src”，Systemd不能正确展开 “~” ，导致路径找不到，从而在启动的时候失败，报告错误代码 125 。

另外，Android源代码目录下不能存在 .svn .git 隐藏子目，我们需要手工删除，否则会报错。参考删除目录下所有的 .svn .git 隐藏子目

Systemd 配置，开机/重启自动启动服务:

# 保存到 ~/.config/systemd/user/
$ mkdir .config

$ mkdir .config/systemd

$ mkdir .config/systemd/user

$ mv container-opengrok-android-4.2.2.service ~/.config/systemd/user/


# 以当前用户身份刷新配置文件，让其生效
$ systemctl --user daemon-reload

# 设置容器开机自启，并且现在启动
$ systemctl --user enable --now ~/.config/systemd/user/container-opengrok-android-4.2.2.service

# 如果需要进入容器查看执行情况，参考如下命令
# podman exec -it opengrok-android-4.2.2 bash

# 查看日志
# podman logs -f -t opengrok-android-4.2.2

# 测试，重启系统，观察是否能开机自动启动
$ sudo reboot

# 启动或重启服务 
# systemctl --user start container-opengrok-android-4.2.2.service 
# systemctl --user restart container-opengrok-android-4.2.2.service

# 如果启动失败，观察服务日志
# sudo journalctl -f

# 保存到 ~/.config/systemd/user/

$ mkdir .config

$ mkdir .config/systemd

$ mkdir .config/systemd/user

$ mv container-opengrok-android-4.2.2.service ~/.config/systemd/user/

# 以当前用户身份刷新配置文件，让其生效

$ systemctl --user daemon-reload

# 设置容器开机自启，并且现在启动

$ systemctl --user enable --now ~/.config/systemd/user/container-opengrok-android-4.2.2.service

# 如果需要进入容器查看执行情况，参考如下命令

# podman exec -it opengrok-android-4.2.2 bash

# 查看日志

# podman logs -f -t opengrok-android-4.2.2

# 测试，重启系统，观察是否能开机自动启动

$ sudo reboot

# 启动或重启服务

# systemctl --user start container-opengrok-android-4.2.2.service

# systemctl --user restart container-opengrok-android-4.2.2.service

# 如果启动失败，观察服务日志

# sudo journalctl -f

Running containers with resource limits fails with a permissions error

On some systemd-based systems, non-root users do not have resource limit delegation permissions. This causes setting resource limits to fail.

Symptom

Running a container with a resource limit options will fail with an error similar to the following:

--cpus, --cpu-period, --cpu-quota, --cpu-shares:

Error: OCI runtime error: crun: the requested cgroup controller `cpu` is not available

1	Error: OCI runtime error: crun: the requested cgroup controller `cpu` is not available

--cpuset-cpus, --cpuset-mems:

Error: OCI runtime error: crun: the requested cgroup controller `cpuset` is not available

1	Error: OCI runtime error: crun: the requested cgroup controller `cpuset` is not available

This means that resource limit delegation is not enabled for the current user.

Solution

You can verify whether resource limit delegation is enabled by running the following command:

$ cat "/sys/fs/cgroup/user.slice/user-$(id -u).slice/user@$(id -u).service/cgroup.controllers"

1	$ cat "/sys/fs/cgroup/user.slice/user-$(id -u).slice/user@$(id -u).service/cgroup.controllers"

Example output might be:

memory pids

1	memory pids

In the above example, cpu and cpuset are not listed, which means the current user does not have permission to set CPU or CPUSET limits.

If you want to enable CPU or CPUSET limit delegation for all users, you can create the file /etc/systemd/system/user@.service.d/delegate.conf with the contents:

[Service] 
Delegate=memory pids cpu cpuset

1 2	[Service] Delegate=memory pids cpu cpuset

After logging out and logging back in, you should have permission to set CPU and CPUSET limits.

参考链接

在Ubuntu 16.04/18.04/20.04 LTS上安装OpenGrok-1.3.11/1.3.16/1.5.12/1.7.25浏览Android源码

更加推荐通过 Podman/Docker 方式进行部署，参考链接 Ubuntu 22.04使用Podman部署OpenGrok的详细教程。

OpenGrok 是一个快速，便于使用的源码搜索引擎与对照引擎，它能够帮助我们快速的搜索、定位、对照代码树。接下来就具体讲解 Ubuntu 16.04/18.04/20.04 LTS 环境下 OpenGrok 的安装及使用。

OpenGrok 1.3.11/1.3.16 依赖 Java 1.8 , Tomcat 8

OpenGrok 1.5.12 依赖 Java 11 , Tomcat 9 。

从 OpenGrok 1.6.0开始依赖 Java 11 , Tomcat 10 。

1.依旧参照 UBUNTU 13.10 APACHE 2.2 通过 AJP 整合 TOMCAT 7 中讲述的方法，进行 Tomcat 8/9, Apache 2.4的配置安装，只不过路径中的 Tomcat7 目录替换成 Tomcat8 (ubuntu 20.04 默认 Tomcat9)。

2.安装 Tomcat 8 (ubuntu 18.04)

$ sudo apt-get install tomcat8

# 一般卸载 tomcat7
$ sudo apt-get remove --purge tomcat7*

# 调整内存,默认的128MB 默认配置运行会导致OOM
$ sudo touch /usr/share/tomcat8/bin/setenv.sh

$ echo 'export JAVA_OPTS="-Xms512M -Xmx1024M"' | sudo tee -a /usr/share/tomcat8/bin/setenv.sh

$ sudo apt-get install tomcat8

# 一般卸载 tomcat7

$ sudo apt-get remove --purge tomcat7*

# 调整内存,默认的128MB 默认配置运行会导致OOM

$ sudo touch /usr/share/tomcat8/bin/setenv.sh

$ echo 'export JAVA_OPTS="-Xms512M -Xmx1024M"' | sudo tee -a /usr/share/tomcat8/bin/setenv.sh

安装 Tomcat 9 (ubuntu 20.04)

# 一般卸载 tomcat7/8
$ sudo apt-get remove --purge tomcat7*

$ sudo apt-get remove --purge tomcat8*

$ sudo apt-get install tomcat9

# 调整内存,默认的128MB 默认配置运行会导致OOM
# sudo touch /usr/share/tomcat9/bin/setenv.sh

$ echo 'export JAVA_OPTS="-Xms512M -Xmx1024M"' | sudo tee -a /usr/share/tomcat9/bin/setenv.sh

# 一般卸载 tomcat7/8

$ sudo apt-get remove --purge tomcat7*

$ sudo apt-get remove --purge tomcat8*

$ sudo apt-get install tomcat9

# 调整内存,默认的128MB 默认配置运行会导致OOM

# sudo touch /usr/share/tomcat9/bin/setenv.sh

$ echo 'export JAVA_OPTS="-Xms512M -Xmx1024M"' | sudo tee -a /usr/share/tomcat9/bin/setenv.sh

3.安装 universal-ctags 用于对 C\C++ 代码的支持

给代码建立索引时，要使用到universal-ctags工具，但是一般通过apt-get安装的都是exuberant-ctags，所以要先删除原有的ctags版本，然后安装universal-ctags.

$ sudo apt-get purge ctags

$ sudo apt-get install git

$ sudo apt-get install autoconf

$ sudo apt-get install pkg-config

$ cd ~

$ git clone --depth=1 https://github.com/universal-ctags/ctags.git

$ cd ctags

$ ./autogen.sh 

$ ./configure

$ make

$ sudo make install

$ cd ..

$ rm -rf ctags

$ sudo apt-get purge ctags

$ sudo apt-get install git

$ sudo apt-get install autoconf

$ sudo apt-get install pkg-config

$ cd ~

$ git clone --depth=1 https://github.com/universal-ctags/ctags.git

$ cd ctags

$ ./autogen.sh

$ ./configure

$ make

$ sudo make install

$ cd ..

$ rm -rf ctags

4.下载并安装OpenGrok

可以到"https://oracle.github.io/opengrok/"手工下载文件，然后上传到服务器，也可以直接用wget命令来下载,一般选择安装在"/opt"目录下面。

$ sudo apt-get install aria2

$ cd /opt

$ sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.3.11/opengrok-1.3.11.tar.gz"

# sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.3.16/opengrok-1.3.16.tar.gz"

# sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.5.12/opengrok-1.5.12.tar.gz"

# sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.7.25/opengrok-1.7.25.tar.gz"

$ sudo apt-get install aria2

$ cd /opt

$ sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.3.11/opengrok-1.3.11.tar.gz"

# sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.3.16/opengrok-1.3.16.tar.gz"

# sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.5.12/opengrok-1.5.12.tar.gz"

# sudo aria2c -c "https://github.com/oracle/opengrok/releases/download/1.7.25/opengrok-1.7.25.tar.gz"

解压缩文件到当前目录"/opt"

$ sudo tar xvf opengrok-1.3.11.tar.gz

# sudo tar xvf opengrok-1.3.16.tar.gz

# sudo tar xvf opengrok-1.5.12.tar.gz

# sudo tar xvf opengrok-1.7.25.tar.gz

$ sudo tar xvf opengrok-1.3.11.tar.gz

# sudo tar xvf opengrok-1.3.16.tar.gz

# sudo tar xvf opengrok-1.5.12.tar.gz

# sudo tar xvf opengrok-1.7.25.tar.gz

创建一个软链接，方便后续的修改

$ sudo ln -s opengrok-1.3.11 /opt/opengrok

# sudo ln -s opengrok-1.3.16 /opt/opengrok

# sudo ln -s opengrok-1.5.12 /opt/opengrok

# sudo ln -s opengrok-1.7.25 /opt/opengrok

# 安装工具,必须是Python3 ,Python2 安装会失败
$ sudo apt-get install python3-pip

$ sudo pip3 install --upgrade pip

# 如果报错 ModuleNotFoundError: No module named 'pip._internal'
# 执行如下命令
# sudo python3 -m pip install --upgrade pip

# 解决 AttributeError: module 'setuptools.dist' has no attribute 'check_specifier'
$ sudo pip3 install --upgrade setuptools

$ sudo pip3 install /opt/opengrok/tools/opengrok-tools.tar.gz

$ sudo ln -s opengrok-1.3.11 /opt/opengrok

# sudo ln -s opengrok-1.3.16 /opt/opengrok

# sudo ln -s opengrok-1.5.12 /opt/opengrok

# sudo ln -s opengrok-1.7.25 /opt/opengrok

# 安装工具,必须是Python3 ,Python2 安装会失败

$ sudo apt-get install python3-pip

$ sudo pip3 install --upgrade pip

# 如果报错 ModuleNotFoundError: No module named 'pip._internal'

# 执行如下命令

# sudo python3 -m pip install --upgrade pip

# 解决 AttributeError: module 'setuptools.dist' has no attribute 'check_specifier'

$ sudo pip3 install --upgrade setuptools

$ sudo pip3 install /opt/opengrok/tools/opengrok-tools.tar.gz

链接"/opt/opengrok/lib/source.war"到 Tomcat8 的工程目录"/var/lib/tomcat8/webapps/"，比如我们有多个源代码工程，建议进行链接操作。

如下：

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Android_4.2.2.war

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Android_7.0.0_r21.war

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Android_10.0.0_r40.war

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Chromium.war

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Android_4.2.2.war

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Android_7.0.0_r21.war

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Android_10.0.0_r40.war

$ sudo ln -s /opt/opengrok/lib/source.war /var/lib/tomcat8/webapps/Chromium.war

访问"http://localhost:8080/source/"确认OpenGrok是否已经安装成功，如果安装成功，出现下面的界面：

5.出于安全原因，禁止外网访问Tomcat的8080端口

只允许Tomcat在本地的8080端口监听即可，修改

$ sudo vim /var/lib/tomcat8/conf/server.xml

1	$ sudo vim /var/lib/tomcat8/conf/server.xml

添加 address="127.0.0.1"

<Connector port="8080" address="127.0.0.1" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />

<Connector port="8080" address="127.0.0.1" protocol="HTTP/1.1"

connectionTimeout="20000"

redirectPort="8443" />

重启Tomcat8

$ sudo service tomcat8 restart

1	$ sudo service tomcat8 restart

6.配置Apache2对Tomcat通过AJP进行反向代理

Apache2 的配置文件“ /etc/apache2/sites-enabled/000-default.conf” (如果开启了HTTPS,则需要同步修改 /etc/apache2/sites-enabled/000-default-le-ssl.conf 或者 /etc/apache2/sites-enabled/default-ssl.conf) 中，增加如下配置：

<VirtualHost *:80>
	#for Tomcat 8 openGrok Android Source
	ProxyPass /Android_4.2.2/ ajp://127.0.0.1:8009/Android_4.2.2/
	ProxyPassReverse /AndroidXRef_4.2.2/ ajp://127.0.0.1:8009/AndroidXRef_4.2.2/
        
	ProxyPass /Android_7.0.0_r21/ ajp://127.0.0.1:8009/Android_7.0.0_r21/
	ProxyPassReverse /Android_7.0.0_r21/ ajp://127.0.0.1:8009/Android_7.0.0_r21/
	
	ProxyPass /Android_10.0.0_r40/ ajp://127.0.0.1:8009/Android_10.0.0_r40/
	ProxyPassReverse /Android_10.0.0_r40/ ajp://127.0.0.1:8009/Android_10.0.0_r40/		
	
	#for Tomcat 8 OpenGrok Chromium	
	ProxyPass /Chromium/ ajp://127.0.0.1:8009/Chromium/
	ProxyPassReverse /Chromium/ ajp://127.0.0.1:8009/Chromium/	
</VirtualHost>

#for Tomcat 8 openGrok Android Source

ProxyPass /Android_4.2.2/ ajp://127.0.0.1:8009/Android_4.2.2/

ProxyPassReverse /AndroidXRef_4.2.2/ ajp://127.0.0.1:8009/AndroidXRef_4.2.2/

ProxyPass /Android_7.0.0_r21/ ajp://127.0.0.1:8009/Android_7.0.0_r21/

ProxyPassReverse /Android_7.0.0_r21/ ajp://127.0.0.1:8009/Android_7.0.0_r21/

ProxyPass /Android_10.0.0_r40/ ajp://127.0.0.1:8009/Android_10.0.0_r40/

ProxyPassReverse /Android_10.0.0_r40/ ajp://127.0.0.1:8009/Android_10.0.0_r40/

#for Tomcat 8 OpenGrok Chromium

ProxyPass /Chromium/ ajp://127.0.0.1:8009/Chromium/

ProxyPassReverse /Chromium/ ajp://127.0.0.1:8009/Chromium/

</VirtualHost>

Tomcat8 的配置文件/var/lib/tomcat8/conf/server.xml中增加如下配置<Context path="/Android_4.2.2" docBase="Android_4.2.2/"/>，解决跳转404问题。ProxyPass后面必须携带“/”，否则就会出现404问题。

<Host name="localhost"  appBase="webapps"
	unpackWARs="true" autoDeploy="true">
 
	<Context path="/Android_4.2.2" docBase="Android_4.2.2/"/>
	<Context path="/Android_7.0.0.r21" docBase="Android_7.0.0_r21/"/>
	<Context path="/Android_10.0.0_r40" docBase="Android_10.0.0_r40/"/>
	<Context path="/Chromium" docBase="Chromium/"/>

	<!-- SingleSignOn valve, share authentication between web applications
		 Documentation at: /docs/config/valve.html -->
	<!--
	<Valve className="org.apache.catalina.authenticator.SingleSignOn" />
	-->
 
	<!-- Access log processes all example.
		 Documentation at: /docs/config/valve.html
		 Note: The pattern used is equivalent to using pattern="common" -->
	<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
		   prefix="localhost_access_log." suffix=".txt"
		   pattern="%h %l %u %t &quot;%r&quot; %s %b" />

	<!-- 隐藏版本号 -->
	<Valve className="org.apache.catalina.valves.ErrorReportValve" showReport="false" showServerInfo="false" />

</Host>

<Host name="localhost" appBase="webapps"

unpackWARs="true" autoDeploy="true">

<!-- SingleSignOn valve, share authentication between web applications

Documentation at: /docs/config/valve.html -->

<!--

-->

<!-- Access log processes all example.

Documentation at: /docs/config/valve.html

Note: The pattern used is equivalent to using pattern="common" -->

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"

prefix="localhost_access_log." suffix=".txt"

pattern="%h %l %u %t "%r" %s %b" />

</Host>

7.配置OpenGrok对源代码进行解析

设置要建立索引的源代码目录的位置，以存储在"/data/OpenGrok/Android_4.2.2"上的Android代码为例子：

$ export OPENGROK_INSTANCE_BASE=/data/OpenGrok/Android_4.2.2/

$ export OPENGROK_WEBAPP_CONTEXT=Android_4.2.2

$ export OPENGROK_INSTANCE_BASE=/data/OpenGrok/Android_4.2.2/

$ export OPENGROK_WEBAPP_CONTEXT=Android_4.2.2

注意：

由于我们使用了Apache2的反向代理才需要设置 OPENGROK_WEBAPP_CONTEXT，如果没有设置反向代理，请不要设置。

OPENGROK_WEBAPP_CONTEXT 内容就是在 Apache2 中设置的 ProxyPassReverse 指定的参数。

在使用反向代理的时候如果不设置OPENGROK_WEBAPP_CONTEXT会导致在点击具体的变量定义的时候，出现404。

不使用反向代理的时候请只设置OPENGROK_INSTANCE_BASE。

这个变量的本质功能就是在建立文件索引的时候，在链接头部增加 OPENGROK_WEBAPP_CONTEXT 指定的路径，比如原来的路径是 https://www.mobibrw.com/a.html ，那么指定路径后，就变成了 https://www.mobibrw.com/ Android_4.2.2/a.html。

创建源代码索引

$ cd /data/OpenGrok/Android_4.2.2/src

# 删除源代码下面可能存在的".git",".svn"隐藏目录
$ find . -name .svn -print0 | xargs -0 rm -r -f

$ find . -name .git -print0 | xargs -0 rm -r -f

# 删除无法进行索引的文件
$ find . -name *.apk -print0 | xargs -0 rm -r -f

$ find . -name *.zip -print0 | xargs -0 rm -r -f

$ find . -name *.jar -print0 | xargs -0 rm -r -f

# 编译工具是没有必要的目录
$ rm -rf prebuilts

$ export IDX_ROOT=/data/OpenGrok/Android_4.2.2/

# Android 源代码目录
$ export IDX_SRC=${IDX_ROOT}src/

$ export IDX_DATA=${IDX_ROOT}data/

$ export IDX_CONF=${IDX_ROOT}etc/configuration.xml

# 清理以前生成的索引数据 
# 索引数据目录 
$ cd ${IDX_ROOT} 

$ rm -rf data 

# 日志目录 
$ rm -rf log 

# 配置文件目录 
$ rm -rf etc 

$ rm -rf logging.properties

$ mkdir etc

# 限制索引内存占用，避免建立索引过程中引发OOM,
# 如果依旧出现OOM,则在参数中指定 “-T 1” 限制只能使用一个线程，不允许并发，减少内存开销
# 其实由于磁盘IO是整个索引的性能瓶颈，因此多线程并不能缩短太多的时间，反而占用了太多的内存
# 因此限制只能使用一个线程，在大多数情况下，是没问题的
# 同时使用 "-m 256" 参数增加 Lucene 4.x 使用的缓存的大小，避免出现问题
# Android 10的源代码至少需要2GB内存才能成功索引
$ export JAVA_OPTS="-Xmx2048m"

$ opengrok-indexer -J=-Xmx2g -a /opt/opengrok/lib/opengrok.jar -- -m 256 -s $IDX_SRC -d $IDX_DATA -T 1 -H -P -S -G -W $IDX_CONF

$ cd /data/OpenGrok/Android_4.2.2/src

# 删除源代码下面可能存在的".git",".svn"隐藏目录

$ find . -name .svn -print0 | xargs -0 rm -r -f

$ find . -name .git -print0 | xargs -0 rm -r -f

# 删除无法进行索引的文件

$ find . -name *.apk -print0 | xargs -0 rm -r -f

$ find . -name *.zip -print0 | xargs -0 rm -r -f

$ find . -name *.jar -print0 | xargs -0 rm -r -f

# 编译工具是没有必要的目录

$ rm -rf prebuilts

$ export IDX_ROOT=/data/OpenGrok/Android_4.2.2/

# Android 源代码目录

$ export IDX_SRC=${IDX_ROOT}src/

$ export IDX_DATA=${IDX_ROOT}data/

$ export IDX_CONF=${IDX_ROOT}etc/configuration.xml

# 清理以前生成的索引数据

# 索引数据目录

$ cd ${IDX_ROOT}

$ rm -rf data

# 日志目录

$ rm -rf log

# 配置文件目录

$ rm -rf etc

$ rm -rf logging.properties

$ mkdir etc

# 限制索引内存占用，避免建立索引过程中引发OOM,

# 如果依旧出现OOM,则在参数中指定 “-T 1” 限制只能使用一个线程，不允许并发，减少内存开销

# 其实由于磁盘IO是整个索引的性能瓶颈，因此多线程并不能缩短太多的时间，反而占用了太多的内存

# 因此限制只能使用一个线程，在大多数情况下，是没问题的

# 同时使用 "-m 256" 参数增加 Lucene 4.x 使用的缓存的大小，避免出现问题

# Android 10的源代码至少需要2GB内存才能成功索引

$ export JAVA_OPTS="-Xmx2048m"

$ opengrok-indexer -J=-Xmx2g -a /opt/opengrok/lib/opengrok.jar -- -m 256 -s $IDX_SRC -d $IDX_DATA -T 1 -H -P -S -G -W $IDX_CONF

执行时间在40分钟左右，执行完成。（如果通过SSH远程登录，可能会出现中途连接断开的情况，原因为某项操作比较耗时，导致长时间没有数据通信，网络超时断开。参考 Linux SSH保持连接（解决Broken pipe））生成的索引文件在源代码的"data"目录下面，重建索引的时候需要执行如下操作，才能再次建立索引

# 切换回到项目根目录
$ cd ${IDX_ROOT}

# 索引数据目录
$ rm -rf data

# 日志目录
$ rm -rf log

# 配置文件目录
$ rm -rf etc

$ rm -rf logging.properties

# 切换回到项目根目录

$ cd ${IDX_ROOT}

# 索引数据目录

$ rm -rf data

# 日志目录

$ rm -rf log

# 配置文件目录

$ rm -rf etc

$ rm -rf logging.properties

注意，请务必删除源代码中的"prebuilts"目录，这个目录下面存储的是一系列的编译工具，在浏览代码的时候，完全用不上，但是占据的磁盘空间确是巨大的。

注意，如果服务器上面的内存比较有限，请使用如下命令进行内存限制，否则建立索引的时候，会触发内存不足的情况：

# 早期版本使用如下参数限制内存
$ export JAVA_OPTS="-Xmx1024m"

# 最新版本OpenGrok-1.3.11/1.3.16使用-J=-Xmx2g 进行内存限制，Android 10的源代码至少需要2GB内存才能成功索引

# 早期版本使用如下参数限制内存

$ export JAVA_OPTS="-Xmx1024m"

# 最新版本OpenGrok-1.3.11/1.3.16使用-J=-Xmx2g 进行内存限制，Android 10的源代码至少需要2GB内存才能成功索引

修改OpenGrok配置文件

$ sudo vim /var/lib/tomcat8/webapps/Android_4.2.2/WEB-INF/web.xml

1	$ sudo vim /var/lib/tomcat8/webapps/Android_4.2.2/WEB-INF/web.xml

修改其中的

<context-param>
	<param-name>CONFIGURATION</param-name>
	<param-value>/var/opengrok/etc/configuration.xml</param-value>
	<description>Full path to the configuration file where OpenGrok can read it's configuration</description>
</context-param>

<context-param>

<param-name>CONFIGURATION</param-name>

<param-value>/var/opengrok/etc/configuration.xml</param-value>

<description>Full path to the configuration file where OpenGrok can read it's configuration</description>

</context-param>

为具体的工程目录"/data/OpenGrok/Android_4.2.2"，修改后的配置如下：

<context-param>
	<param-name>CONFIGURATION</param-name>
	<param-value>/data/OpenGrok/Android_4.2.2/etc/configuration.xml</param-value>
	<description>Full path to the configuration file where OpenGrok can read it's configuration</description>
</context-param>

<context-param>

<param-name>CONFIGURATION</param-name>

<param-value>/data/OpenGrok/Android_4.2.2/etc/configuration.xml</param-value>

<description>Full path to the configuration file where OpenGrok can read it's configuration</description>

</context-param>

刷新浏览器，可以看到Android_4.2.2的源码可以搜索出来了。

参考链接

在Ubuntu 12.04 LTS上安装OpenGrok浏览Android源码

OpenGrok是一个快速，便于使用的源码搜索引擎与对照引擎，它能够帮助我们快速的搜索、定位、对照代码树。接下来就具体讲解Ubuntu 12.04 LTS环境下OpenGrok的安装及使用。

1.参照 UBUNTU 13.10 APACHE 2.2 通过 AJP 整合 TOMCAT 7 中讲述的方法，进行Tomcat,Apache2的配置安装。

2.安装ctags用于对C\C++代码的支持

$ sudo apt-get install exuberant-ctags

1	$ sudo apt-get install exuberant-ctags

3.下载并安装OpenGrok

可以到"http://opengrok.github.io/OpenGrok/"手工下载文件，然后上传到服务器，也可以直接用wget命令来下载,一般选择安装在"/opt"目录下面。

$ cd /opt

$ wget http://java.net/projects/opengrok/downloads/download/opengrok-0.12.1.5.tar.gz

$ cd /opt

$ wget http://java.net/projects/opengrok/downloads/download/opengrok-0.12.1.5.tar.gz

解压缩文件到当前目录"/opt"

$ tar -zxvf opengrok-0.12.1.5.tar.gz

1	$ tar -zxvf opengrok-0.12.1.5.tar.gz

创建一个软链接，方便后续的修改

$ ln -s opengrok-0.12.1.5 opengrok

1	$ ln -s opengrok-0.12.1.5 opengrok

拷贝"/opt/opengrok/lib/source.war"到Tomcat7的工程目录"/var/lib/tomcat7/webapps/"

$ sudo cp /opt/opengrok/lib/source.war /var/lib/tomcat7/webapps/

1	$ sudo cp /opt/opengrok/lib/source.war /var/lib/tomcat7/webapps/

访问"http://localhost:8080/source/"确认OpenGrok是否已经安装成功，如果安装成功，出现下面的界面：

4.出于安全原因，禁止外网访问Tomcat的8080端口

只允许Tomcat在本地的8080端口监听即可，修改

$ sudo vim /var/lib/tomcat7/conf/server.xml

1	$ sudo vim /var/lib/tomcat7/conf/server.xml

添加 address="127.0.0.1"

<Connector port="8080" address="127.0.0.1" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />

<Connector port="8080" address="127.0.0.1" protocol="HTTP/1.1"

connectionTimeout="20000"

redirectPort="8443" />

重启Tomcat7

$ sudo service tomcat7 restart

1	$ sudo service tomcat7 restart

5.配置Apache2对Tomcat通过AJP进行反向代理

Apache2的配置文件“ /etc/apache2/sites-available/default”中，增加如下配置：

#for Tomcat 7 openGrok
ProxyPass /AndroidXRef/ ajp://127.0.0.1:8009/AndroidXRef/
ProxyPassReverse /AndroidXRef/ ajp://127.0.0.1:8009/AndroidXRef/
ServerName localhost

#for Tomcat 7 openGrok

ProxyPass /AndroidXRef/ ajp://127.0.0.1:8009/AndroidXRef/

ProxyPassReverse /AndroidXRef/ ajp://127.0.0.1:8009/AndroidXRef/

ServerName localhost

Tomcat7的配置文件/var/lib/tomcat7/conf/server.xml中增加如下配置<Context path="/AndroidXRef" docBase="source/"/>，解决跳转404问题。ProxyPass后面必须携带“/”,否则就会出现404问题。

<Host name="localhost"  appBase="webapps"
	unpackWARs="true" autoDeploy="true">
 
	<Context path="/AndroidXRef" docBase="source/"/>
 
	<!-- SingleSignOn valve, share authentication between web applications
		 Documentation at: /docs/config/valve.html -->
	<!--
	<Valve className="org.apache.catalina.authenticator.SingleSignOn" />
	-->
 
	<!-- Access log processes all example.
		 Documentation at: /docs/config/valve.html
		 Note: The pattern used is equivalent to using pattern="common" -->
	<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
		   prefix="localhost_access_log." suffix=".txt"
		   pattern="%h %l %u %t &quot;%r&quot; %s %b" />
 
</Host>

<Host name="localhost" appBase="webapps"

unpackWARs="true" autoDeploy="true">

<!-- SingleSignOn valve, share authentication between web applications

Documentation at: /docs/config/valve.html -->

<!--

-->

<!-- Access log processes all example.

Documentation at: /docs/config/valve.html

Note: The pattern used is equivalent to using pattern="common" -->

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"

prefix="localhost_access_log." suffix=".txt"

pattern="%h %l %u %t "%r" %s %b" />

</Host>

6.配置OpenGrok对源代码进行解析

设置要建立索引的源代码目录的位置,以存储在"/data/OpenGrok/Android_4.2"上的Android代码为例子：

$ export OPENGROK_INSTANCE_BASE=/data/OpenGrok/Android_4.2

$ export OPENGROK_WEBAPP_CONTEXT=AndroidXRef

$ export OPENGROK_INSTANCE_BASE=/data/OpenGrok/Android_4.2

$ export OPENGROK_WEBAPP_CONTEXT=AndroidXRef

注意：

由于我们使用了Apache2的反向代理才需要设置 OPENGROK_WEBAPP_CONTEXT，如果没有设置反向代理，请不要设置OPENGROK_WEBAPP_CONTEXT。

在使用反向代理的时候如果不设置OPENGROK_WEBAPP_CONTEXT会导致在点击具体的变量定义的时候，出现404.

不使用反向代理的时候请只设置OPENGROK_INSTANCE_BASE

创建源代码索引

#删除源代码下面可能存在的".git",".svn"隐藏目录
$ cd /data/OpenGrok/Android_4.2

$ find . -name .svn -print0 | xargs -0 rm -r -f

$ find . -name .git -print0 | xargs -0 rm -r -f

#编译工具是没有必要的目录
$ rm -rf prebuilts

$ bash /opt/opengrok/bin/OpenGrok index /data/OpenGrok/Android_4.2

#删除源代码下面可能存在的".git",".svn"隐藏目录

$ cd /data/OpenGrok/Android_4.2

$ find . -name .svn -print0 | xargs -0 rm -r -f

$ find . -name .git -print0 | xargs -0 rm -r -f

#编译工具是没有必要的目录

$ rm -rf prebuilts

$ bash /opt/opengrok/bin/OpenGrok index /data/OpenGrok/Android_4.2

执行时间在40分钟左右，执行完成。生成的索引文件在源代码的"data"目录下面，重建索引的时候需要执行如下操作,才能再次建立索引

$ rm -rf data

$ rm -rf log

$ rm -rf logging.properties

$ rm -rf data

$ rm -rf log

$ rm -rf logging.properties

注意，如果服务器上面的内存比较有限，请使用如下命令进行内存限制，否则建立索引的时候，会触发内存不足的情况：

$ export JAVA_OPTS="-Xmx1024m"

1	$ export JAVA_OPTS="-Xmx1024m"

修改OpenGrok配置文件

$ cd /var/lib/tomcat7/webapps/source/WEB-INF

$ sudo vim web.xml

$ cd /var/lib/tomcat7/webapps/source/WEB-INF

$ sudo vim web.xml

修改其中的

<context-param>
	<param-name>CONFIGURATION</param-name>
	<param-value>/var/opengrok/etc/configuration.xml</param-value>
	<description>Full path to the configuration file where OpenGrok can read it's configuration</description>
</context-param>

<context-param>

<param-name>CONFIGURATION</param-name>

<param-value>/var/opengrok/etc/configuration.xml</param-value>

<description>Full path to the configuration file where OpenGrok can read it's configuration</description>

</context-param>

为具体的工程目录"/data/OpenGrok/Android_4.2"，修改后的配置如下：

<context-param>
	<param-name>CONFIGURATION</param-name>
	<param-value>/data/OpenGrok/Android_4.2/etc/configuration.xml</param-value>
	<description>Full path to the configuration file where OpenGrok can read it's configuration</description>
</context-param>

<context-param>

<param-name>CONFIGURATION</param-name>

<param-value>/data/OpenGrok/Android_4.2/etc/configuration.xml</param-value>

<description>Full path to the configuration file where OpenGrok can read it's configuration</description>

</context-param>

刷新浏览器，可以看到Android_4.2的源码可以搜索出来了。

2024 年 7 月
一	二	三	四	五	六	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31