Politica di accesso adeguata per Amazon Elastic Search Cluster

Recentemente ho iniziato a utilizzare il nuovo Amazon Elasticsearch Service e non riesco a capire la policy di accesso di cui ho bisogno in modo da poter accedere solo ai servizi dalle mie istanze EC2 a cui è assegnato un ruolo IAM specifico.

Ecco un esempio della politica di accesso che attualmente ho assegnato per il dominio ES:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::[ACCOUNT_ID]:role/my_es_role",
        ]
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:[ACCOUNT_ID]:domain/[ES_DOMAIN]/*"
    }
  ]
}

Ma come ho detto, questo non funziona. Accedo all'istanza EC2 (a cui è my_es_roleassociato il ruolo) e tento di eseguire una semplice chiamata curl sull'endpoint "https: //*.es.amazonaws.com", ottengo il seguente errore:

{"Message": "Utente: anonymous non è autorizzato a eseguire: es: ESHttpGet sulla risorsa: arn: aws: es: us-east-1: [ACCOUNT_ID]: domain / [ES_DOMAIN] /"}

Qualcuno sa cosa devo modificare nella politica di accesso affinché funzioni?

Puoi bloccare l'accesso solo a IAM, ma come vedrai Kibana nel tuo browser? È possibile configurare un proxy ( vedere Gist e / o modulo NPM ) o abilitare l'accesso basato su IAM e IP per la visualizzazione dei risultati.

Sono stato in grado di ottenere entrambi gli accessi IAM con accesso limitato a IP con la seguente policy di accesso. Nota che l'ordine è importante: non sono riuscito a farlo funzionare con l'istruzione basata su IP prima dell'istruzione IAM.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::xxxxxxxxxxxx:root"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*"
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": [
            "192.168.1.0",
            "192.168.1.1"
          ]
        }
      }
    }
  ]
}

La mia istanza EC2 ha un profilo istanza con la arn:aws:iam::aws:policy/AmazonESFullAccess policy. Logstash deve firmare le richieste utilizzando il plug-in di output logstash-output-amazon-es . Logstash in esecuzione sulla mia istanza EC2 include una sezione di output come questa:

output {
    amazon_es {
        hosts => ["ELASTICSEARCH_HOST"]
        region => "AWS_REGION"
    }
    # If you need to do some testing & debugging, uncomment this line:
    # stdout { codec => rubydebug }
}

Posso accedere a Kibana dai due IP nella policy di accesso (192.168.1.0 e 192.168.1.1).

Secondo il documento AWS e come tu (ed io) abbiamo appena testato, non puoi limitare l'accesso a un dominio AWS ES a un ruolo / account / utente / ... e semplicemente eseguirne l'URL!

I client standard, come curl, non possono eseguire la firma della richiesta richiesta per i criteri di accesso basati sull'identità. È necessario utilizzare un criterio di accesso basato sull'indirizzo IP che consenta l'accesso anonimo per eseguire correttamente le istruzioni per questo passaggio. ( http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-gsg-search.html )

Quindi hai fondamentalmente due soluzioni:

• cambia la tua politica di accesso e limitala agli IP, penso che non puoi usare l'IP privato perché il tuo cluster ES non sembra appartenere al tuo VPC (predefinito o meno). Utilizza l'IP pubblico
• firma la tua richiesta: http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains.html#es-managedomains-signing-service-requests

La firma della tua richiesta è probabilmente la soluzione migliore se vuoi mantenere la tua politica di accesso così com'è (che è più flessibile della limitazione a un IP), ma sembra essere un po 'più complessa. Finora non ho provato e non riesco a trovare alcun documento che mi aiuti.

Un po 'in ritardo per la festa, ma sono stato in grado di affrontare lo stesso identico problema aggiungendo la firma alle mie richieste.

Se utilizzi Python (come me), puoi utilizzare la seguente libreria per renderlo particolarmente facile da implementare: https://github.com/DavidMuller/aws-requests-auth

Ha funzionato perfettamente per me.

Devi solo inserire il nome utente completo nel criterio di ricerca elastico.

In questo caso, puoi ottenere il tuo nome utente completo dal messaggio di errore stesso. Nel mio caso: "arn: aws: sts :: [ACCOUNT_ID]: assumed-role / [LAMBDA_POLICY_NAME] / [LAMBDA_NAME]"

    {
        "Version": "2012-10-17",
        "Statement": [
        {
          "Effect": "Allow",
          "Principal": {
            "AWS": [
              "arn:aws:sts::xxxxxxxxxxxx:assumed-role/[lambda-role]/[full-lambda-name]"
            ]
          },
          "Action": "es:*",
          "Resource": "arn:aws:es:[region]:xxxxxxxxxxxxx:domain/[elasticsearch-domain-name]/*"
        }
      ]

    }

È possibile utilizzare una politica basata sulle risorse o una politica basata sull'identità piuttosto che una politica basata su IP che è come la codifica dell'indirizzo IP.

Ma è necessario utilizzare Signature versione 4 per firmare la richiesta

Per l'implementazione di Java, fare riferimento a http://mytechbites.blogspot.in/2017/04/secure-amazon-elastic-search-service.html

Il ruolo ARN deve essere cambiato. sarà simile a "arn: aws: iam :: [ACCOUNT_ID]: role / service-role / my_es_role"

Sto anche provando a farlo e l'ho fatto funzionare utilizzando l' Allow access to the domain from specific IP(s)opzione con l'IP elastico della mia istanza EC2 (potrebbe funzionare anche utilizzando l'IP privato dell'istanza, ma non ne sono troppo sicuro)