Rimuovi ✅, 🔥, ✈, ♛ e altri emoji / immagini / segni simili dalle stringhe Java

Ho alcune stringhe con tutti i tipi di emoji / immagini / segni diversi.

Non tutte le stringhe sono in inglese - alcune sono in altre lingue non latine, ad esempio:

▓ railway??
→ Cats and dogs
I'm on 🔥
Apples ⚛ 
✅ Vi sign
♛ I'm the king ♛ 
Corée ♦ du Nord ☁  (French)
 gjør at både ◄╗ (Norwegian)
Star me ★
Star ⭐ once more
早上好 ♛ (Chinese)
Καλημέρα ✂ (Greek)
another ✓ sign ✓
добрай раніцы ✪ (Belarus)
◄ शुभ प्रभात ◄ (Hindi)
✪ ✰ ❈ ❧ Let's get together ★. We shall meet at 12/10/2018 10:00 AM at Tony's.❉

... e molti altri ancora.

Vorrei sbarazzarmi di tutti questi segni / immagini e mantenere solo le lettere (e la punteggiatura) nelle diverse lingue.

Ho provato a pulire i segni usando la libreria EmojiParser :

String withoutEmojis = EmojiParser.removeAllEmojis(input);

Il problema è che EmojiParser non è in grado di rimuovere la maggior parte dei segni. Il segno ♦ è l'unico che ho trovato fino ad ora che è stato rimosso. Altri segni come ✪ ❉ ★ ✰ ❈ ❧ ✂ ❋ ⓡ ✿ ♛ 🔥 non vengono rimossi.

C'è un modo per rimuovere tutti questi segni dalle stringhe di input e mantenere solo le lettere e la punteggiatura nelle diverse lingue ?

Invece di inserire nella blacklist alcuni elementi, che ne dici di creare una lista bianca dei personaggi che desideri conservare? In questo modo non devi preoccuparti di ogni nuova emoji aggiunta.

String characterFilter = "[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]";
String emotionless = aString.replaceAll(characterFilter,"");

Così:

• [\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]è un intervallo che rappresenta tutti i caratteri numerici ( \\p{N}), letter ( \\p{L}), mark ( \\p{M}), punteggiatura ( \\p{P}), spazi bianchi / separatore ( \\p{Z}), altra formattazione ( \\p{Cf}) e altri caratteri sopra U+FFFFin Unicode ( \\p{Cs}) e newline ( \\s) caratteri. include in \\p{L}particolare i caratteri di altri alfabeti come cirillico, latino, kanji, ecc.
• Il ^set di caratteri regex annulla la corrispondenza.

Esempio:

String str = "hello world _# 皆さん、こんにちは！　私はジョンと申します。🔥";
System.out.print(str.replaceAll("[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]",""));
// Output:
//   "hello world _# 皆さん、こんにちは！　私はジョンと申します。"

Se hai bisogno di ulteriori informazioni, consulta la documentazione Java per regex.

Non sono super in Java, quindi non proverò a scrivere un esempio di codice in linea, ma il modo in cui lo farei è quello di controllare ciò che Unicode chiama "la categoria generale" di ogni personaggio. Ci sono una coppia di lettere e categorie di punteggiatura.

Puoi usare Character.getType per trovare la categoria generale di un determinato personaggio. Probabilmente dovresti conservare quei personaggi che rientrano in queste categorie generali:

COMBINING_SPACING_MARK
CONNECTOR_PUNCTUATION
CURRENCY_SYMBOL
DASH_PUNCTUATION
DECIMAL_DIGIT_NUMBER
ENCLOSING_MARK
END_PUNCTUATION
FINAL_QUOTE_PUNCTUATION
FORMAT
INITIAL_QUOTE_PUNCTUATION
LETTER_NUMBER
LINE_SEPARATOR
LOWERCASE_LETTER
MATH_SYMBOL
MODIFIER_LETTER
MODIFIER_SYMBOL
NON_SPACING_MARK
OTHER_LETTER
OTHER_NUMBER
OTHER_PUNCTUATION
PARAGRAPH_SEPARATOR
SPACE_SEPARATOR
START_PUNCTUATION
TITLECASE_LETTER
UPPERCASE_LETTER

(Tutti i personaggi che hai elencato come specificamente desiderati da rimuovere hanno una categoria generale OTHER_SYMBOL, che non ho incluso nella lista bianca delle categorie sopra.)

Sulla base dell'Elenco Emoji completo, v11.0 hai 1644 punti di codice Unicode diversi da rimuovere. Ad esempio ✅è in questo elenco comeU+2705 .

Avendo l'elenco completo di emoji è necessario filtrarli utilizzando i punti di codice . L'iterazione su singolo charo bytenon funziona come un singolo punto di codice può estendersi su più byte. Poiché Java utilizza gli emoji UTF-16 di solito impiegheranno due charsecondi.

String input = "ab✅cd";
for (int i = 0; i < input.length();) {
  int cp = input.codePointAt(i);
  // filter out if matches
  i += Character.charCount(cp); 
}

La mappatura dal punto di codice Unicode U+2705a Java intè semplice:

int viSign = 0x2705;

o poiché Java supporta le stringhe Unicode:

int viSign = "✅".codePointAt(0);

ICU4J è tuo amico.

UCharacter.hasBinaryProperty(UProperty.EMOJI);

Ricorda di mantenere aggiornata la tua versione di icu4j e nota che questo filtrerà solo le emoji Unicode ufficiali, non i simboli. Combina con il filtraggio di altri tipi di carattere, se lo desideri.

Ulteriori informazioni: http://icu-project.org/apiref/icu4j/com/ibm/icu/lang/UProperty.html#EMOJI

Di seguito ho fornito alcuni esempi e ho pensato che il latino fosse abbastanza, ma ...

C'è un modo per rimuovere tutti questi segni dalla stringa di input e mantenere solo le lettere e la punteggiatura nelle diverse lingue?

Dopo la modifica, ho sviluppato una nuova soluzione, usando il Character.getTypemetodo, e sembra essere la soluzione migliore.

package zmarcos.emoji;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class TestEmoji {

    public static void main(String[] args) {
        String[] arr = {"Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string",
            "→ Cats and dogs",
            "I'm on 🔥",
            "Apples ⚛ ",
            "✅ Vi sign",
            "♛ I'm the king ♛ ",
            "Star me ★",
            "Star ⭐ once more",
            "早上好 ♛",
            "Καλημέρα ✂"};
        System.out.println("---only letters and spaces alike---\n");
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Character.isLetter(cp) || Character.isWhitespace(cp)).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks white---\n");
        Set<Character.UnicodeBlock> whiteList = new HashSet<>();
        whiteList.add(Character.UnicodeBlock.BASIC_LATIN);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> whiteList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks black---\n");
        Set<Character.UnicodeBlock> blackList = new HashSet<>();        
        blackList.add(Character.UnicodeBlock.EMOTICONS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_TECHNICAL);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_ARROWS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_PICTOGRAPHS);
        blackList.add(Character.UnicodeBlock.ALCHEMICAL_SYMBOLS);
        blackList.add(Character.UnicodeBlock.TRANSPORT_AND_MAP_SYMBOLS);
        blackList.add(Character.UnicodeBlock.GEOMETRIC_SHAPES);
        blackList.add(Character.UnicodeBlock.DINGBATS);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> !blackList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
        System.out.println("\n---category---\n");
        int[] category = {Character.COMBINING_SPACING_MARK, Character.COMBINING_SPACING_MARK, Character.CONNECTOR_PUNCTUATION, /*Character.CONTROL,*/ Character.CURRENCY_SYMBOL,
            Character.DASH_PUNCTUATION, Character.DECIMAL_DIGIT_NUMBER, Character.ENCLOSING_MARK, Character.END_PUNCTUATION, Character.FINAL_QUOTE_PUNCTUATION,
            /*Character.FORMAT,*/ Character.INITIAL_QUOTE_PUNCTUATION, Character.LETTER_NUMBER, Character.LINE_SEPARATOR, Character.LOWERCASE_LETTER,
            /*Character.MATH_SYMBOL,*/ Character.MODIFIER_LETTER, /*Character.MODIFIER_SYMBOL,*/ Character.NON_SPACING_MARK, Character.OTHER_LETTER, Character.OTHER_NUMBER,
            Character.OTHER_PUNCTUATION, /*Character.OTHER_SYMBOL,*/ Character.PARAGRAPH_SEPARATOR, /*Character.PRIVATE_USE,*/
            Character.SPACE_SEPARATOR, Character.START_PUNCTUATION, /*Character.SURROGATE,*/ Character.TITLECASE_LETTER, /*Character.UNASSIGNED,*/ Character.UPPERCASE_LETTER};
        Arrays.sort(category);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Arrays.binarySearch(category, Character.getType(cp)) >= 0).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
    }

}

Produzione:

---only letters and spaces alike---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove      and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
Im on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 Im the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---unicode blocks white---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛

Καλημέρα ✂


---unicode blocks black---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
→ Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---category---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

Il codice funziona eseguendo lo streaming della stringa in punti di codice. Quindi usando lambdas per filtrare i caratteri in aint array, quindi convertiamo l'array in String.

Le lettere e gli spazi utilizzano i metodi Carattere per filtrare, non bene con la punteggiatura. Tentativo fallito .

L' unicode blocca il filtro bianco utilizzando i blocchi unicode che il programmatore specifica come consentito. Tentativo fallito .

L' unicode blocca il filtro nero usando i blocchi unicode che il programmatore specifica come non consentito. Tentativo fallito .

Il filtro di categoria usando il metodo statico Character.getType. Il programmatore può definire categorynell'array quali tipi sono consentiti. LAVORI 😨😱😰😲😀.

Prova questo progetto simple-emoji-4j

Compatibile con Emoji 12.0 (2018.10.15)

Semplice con:

EmojiUtils.removeEmoji(str)

Utilizzare un plug-in jQuery chiamato RM-Emoji. Ecco come funziona:

$('#text').remove('emoji').fast()

Questa è la modalità veloce a cui potrebbero mancare alcuni emoji in quanto utilizza algoritmi euristici per trovare emoji nel testo. Usa il .full()metodo per scansionare l'intera stringa e rimuovere tutti gli emoji garantiti.