通过 Minikube 设置解决 Grafana 中的 Prometheus 数据源问题

Minikube 中的 Prometheus-Grafana 集成故障排除

在部署基于 Kubernetes 的监控堆栈时，通常会集成 Prometheus 和 Grafana 这两个用于指标收集和可视化的强大工具。使用 作为本地 Kubernetes 环境，出现集成问题并不罕见，尤其是在设置数据源配置时。

本文解决了添加时的常见问题 作为 Grafana 中的数据源。在新的命名空间中部署 Grafana 后，可以通过以下方式访问到类似 Prometheus 的服务的连接： 失败。正确部署服务并应用相关配置后，会出现此问题。

遇到的错误，尤其是通过 HTTP 查询 Prometheus 时，可能会令人困惑。 “格式错误的 HTTP 响应”消息可能表明传输连接已损坏。此错误可能是由 Minikube 中的各种网络或服务暴露问题引起的。

本文将引导您完成确定根本原因并为问题提供真正补救措施的过程。我们将解决连接问题，以确保之间的成功设置 和 在你的 环境。

命令	使用示例
http.Redirect	此 GoLang 命令将传入的 HTTP 请求重定向到另一个目的地。在此示例中，它用于将 Grafana 的请求重定向到 Prometheus 服务端点。
log.Fatal	在 GoLang 中用于记录严重错误消息并立即终止应用程序。该脚本保证启动 HTTP 服务器时出现的任何错误都会被记录下来，并且程序会正常退出。
ListenAndServe	用于启动 HTTP 服务器的 GoLang 命令。在该解决方案的上下文中，它在端口 8080 上侦听传入请求并将它们路由到处理程序函数。
httptest.NewRequest	GoLang 命令生成一个新的 HTTP 请求以用于测试目的。在单元测试中模拟 HTTP 流量而不依赖于实际的网络连接非常方便。
httptest.NewRecorder	另一个用于测试的 GoLang 特定命令，它生成 HTTP 响应记录器。这使得开发人员能够在测试期间记录处理程序函数的响应。
namespace	命名空间在 Kubernetes YAML 文件中用于隔离资源。为了隔离集群内 Grafana 和 Prometheus 的功能，我们使用提供的脚本将它们部署在独立的命名空间中。
ClusterIP	ClusterIP 是一个 Kubernetes 服务，在集群内部公开服务。在这篇文章中，最简单的收集器服务被安装为 ClusterIP 服务，这意味着如果不使用隧道或 NodePort，则无法直接从集群外部访问它。
Ingress	在 Kubernetes 中，入口允许对集群服务进行外部访问，通常是通过 HTTP/HTTPS 路由。 YAML 示例将 Prometheus 服务配置为允许外部访问。
pathType	Kubernetes Ingress 特定字段指定应如何匹配路径。在 Ingress 示例中，它确保任何以“/”开头的路径都通向 Prometheus 服务。

了解 Grafana 中 Prometheus 数据源问题的解决方案

第一个脚本利用 Kubernetes 的 YAML 配置通过 NodePort 提供 Prometheus 服务。当您希望从外部平台（例如 Grafana）访问 Kubernetes 集群内运行的服务时，此策略非常有用。 “NodePort”类型将外部流量路由到特定端口上的服务，Grafana 随后可以将其用作数据源。该策略适用于程序运行在Minikube或类似本地集群上时的开发和测试场景。

第二个选项使用 Kubernetes 的 资源通过 HTTP 公开 Prometheus 服务，使其可以从集群外部访问。 Ingress 通过设置外部路由来工作，在本例中允许 Grafana 直接通过 HTTP 端点查询 Prometheus。采用 Ingress 的主要好处是它提供更广泛的路由功能，包括负载平衡、SSL 终止和基于名称的虚拟托管。该解决方案适用于需要安全且可扩展地访问监控服务的生产场景。

第三种方法使用自定义 GoLang 代理将 HTTP 请求从 Grafana 中继到 Prometheus。 GoLang 服务器侦听请求并将它们路由到 Kubernetes 集群内的适当端点。在网络限制阻止从 Grafana 直接连接到 Prometheus 的情况下，或者在请求到达 Prometheus 之前需要进行额外处理的情况下，此方法非常有用。 GoLang 脚本简单而有效，使其成为其他解决方案的可行选择。

最后，GoLang 的单元测试保证代理的行为符合预期。使用“httptest.NewRequest”和“httptest.NewRecorder”测试 HTTP 请求和响应可确保代理正确传递流量，而不依赖于外部依赖项。这些单元测试模拟真实流量并确保 Grafana 按预期与 Prometheus 交互。单元测试对于确保代理服务器在各种上下文中可靠工作以及随着项目扩展保持代码质量至关重要。

apiVersion: v1
kind: Service
metadata:
  name: prometheus-service
  namespace: default
spec:
  selector:
    app: prometheus
  ports:
  - protocol: TCP
    port: 9090
    targetPort: 9090
  type: NodePort

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: prometheus-ingress
  namespace: default
spec:
  rules:
  - host: prometheus.local
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: prometheus-service
            port:
              number: 9090

package main
import (
  "net/http"
  "log"
)
func handler(w http.ResponseWriter, r *http.Request) {
  http.Redirect(w, r, "http://prometheus-service.default.svc:9090", 301)
}
func main() {
  http.HandleFunc("/", handler)
  log.Fatal(http.ListenAndServe(":8080", nil))
}

package main
import (
  "net/http"
  "net/http/httptest"
  "testing"
)
func TestHandler(t *testing.T) {
  req := httptest.NewRequest("GET", "http://localhost:8080", nil)
  rr := httptest.NewRecorder()
  handler(rr, req)
  if status := rr.Code; status != http.StatusMovedPermanently {
    t.Errorf("wrong status code: got %v want %v", status, http.StatusMovedPermanently)
  }
}

优化 Kubernetes 中的 Prometheus 和 Grafana 集成

在 Kubernetes 中集成 Prometheus 和 Grafana 需要跨命名空间提供足够的服务。在您的场景中，您在默认命名空间中安装了 OpenTelemetry Collector，并在单独的命名空间中安装了 Grafana。虽然 ClusterIP 等 Kubernetes 功能改善了内部通信，但如果没有正确的设置，跨命名空间通信可能会很困难。确保正确配置服务名称和 DNS 条目至关重要，以便 Grafana 可以通过预期端点到达 Prometheus。

调试 Prometheus 与 Grafana 集成时的另一个考虑因素是服务类型如何影响可访问性。一个 服务仅供集群内部使用，只能在 Kubernetes 集群内访问。如果 Grafana 安装在不同的命名空间中或需要外部访问，请移至 或者 服务类型比较合适。此更新允许从集群外部或跨命名空间路由流量。

此外，诊断 Kubernetes 中服务之间的网络问题可能很困难，特别是当出现“HTTP 传输连接中断”等消息时。这些困难可能是由于错误配置的端口或协议造成的。 “kubectl port-forward”和网络策略等工具可以让开发人员实时验证跨服务的连接性，帮助他们更快地隔离和处理网络问题。有必要暴露正确的端口（例如gRPC的4317）以确保Prometheus和Grafana无缝通信。

1. 如何公开在单独的命名空间中运行的服务？
2. 要在命名空间之间传输流量，您可以使用 或一个 在您的服务配置中。
3. 为什么 Grafana 无法连接到我的 Prometheus 实例？
4. 这个问题往往是由于不适当的服务暴露或网络策略造成的。检查该服务是否可以通过以下方式访问 或者 Grafana 中的端点对应于 Prometheus 服务的 DNS 条目。
5. 如何排查 Kubernetes 中服务之间的网络问题？
6. 使用 ，可以在本地测试服务之间的连通性。这有助于隔离集群内的网络问题。
7. 哪种服务类型适合将 Prometheus 暴露给外部系统？
8. 对于外部访问，请使用 或配置一个 资源。 ClusterIP 仅限内部使用。
9. 为什么从 Grafana 查询 Prometheus 时连接中断？
10. 这可能是由于使用了不正确的协议或端口造成的。确保您正在查询配置的正确 HTTP 或 gRPC 端口。

为了在 Minikube 环境中成功链接 Prometheus 和 Grafana，请确保服务正确暴露。使用 或者 可以解决各种连接问题。

使用“kubectl”工具进行测试并验证跨命名空间通信的 DNS 条目也是必要的。遵循这些原则将确保您的 Kubernetes 基础设施顺利集成并受到准确监控。