Streams API를 사용하여 Java 8에서 단어 빈도 계산

Java 8 Streams API를 사용하여 효율적으로 단어 빈도 계산

이 솔루션은 함수형 프로그래밍 및 텍스트 분석을 위해 Java 8 Streams API를 사용합니다.

import java.util.Arrays;
import java.util.Map;
import java.util.function.Function;
import java.util.stream.Collectors;
public class WordFrequency {
    public static void main(String[] args) {
        // Input array of sentences
        String[] input = {
            "This is a sample string",
            " string ",
            "Another sample string",
            "This is not    a sample string"
        };
        // Stream pipeline for word frequency calculation
        Map<String, Long> wordFrequencies = Arrays.stream(input)
            .flatMap(sentence -> Arrays.stream(sentence.split("\\s+")))
            .filter(word -> !word.isEmpty())
            .map(String::trim)
            .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
        // Output the result
        System.out.println(wordFrequencies);
    }
}

모듈화를 위한 맞춤형 유틸리티 방법 사용

이 솔루션은 재사용성을 위한 유틸리티 메서드를 도입하여 모듈식 코드를 보여줍니다.

import java.util.Arrays;
import java.util.Map;
import java.util.function.Function;
import java.util.stream.Collectors;
public class WordFrequencyWithUtils {
    public static void main(String[] args) {
        String[] input = {
            "This is a sample string",
            " string ",
            "Another sample string",
            "This is not    a sample string"
        };
        Map<String, Long> result = calculateWordFrequencies(input);
        System.out.println(result);
    }
    public static Map<String, Long> calculateWordFrequencies(String[] sentences) {
        return Arrays.stream(sentences)
            .flatMap(sentence -> Arrays.stream(sentence.split("\\s+")))
            .filter(word -> !word.isEmpty())
            .map(String::trim)
            .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
    }
}

단어 빈도 논리 단위 테스트

이 접근 방식에는 JUnit 5를 사용하여 기능을 검증하는 단위 테스트가 포함됩니다.

import org.junit.jupiter.api.Test;
import java.util.Map;
import static org.junit.jupiter.api.Assertions.*;
public class WordFrequencyTest {
    @Test
    void testCalculateWordFrequencies() {
        String[] input = {
            "This is a sample string",
            " string ",
            "Another sample string",
            "This is not    a sample string"
        };
        Map<String, Long> result = WordFrequencyWithUtils.calculateWordFrequencies(input);
        assertEquals(2, result.get("This"));
        assertEquals(4, result.get("string"));
        assertEquals(3, result.get("sample"));
        assertEquals(1, result.get("not"));
    }
}

Java 단어 빈도 분석에 대한 일반적인 질문

1. 단어 빈도 분석에서 대소문자 구분을 어떻게 처리합니까?
2. 사용 map(String::toLowerCase) 처리하기 전에 모든 단어를 소문자로 변환합니다.
3. 단어를 분석하기 전에 구두점을 제거하려면 어떻게 해야 합니까?
4. 적용하다 replaceAll("[^a-zA-Z0-9 ]", "") 각 문장에서 원하지 않는 문자를 제거합니다.
5. 입력에서 빈 문자열을 처리하는 가장 좋은 방법은 무엇입니까?
6. 사용 filter(word -> !word.isEmpty()) 처리에서 제외합니다.
7. 더 나은 성능을 위해 입력 배열을 병렬로 처리할 수 있습니까?
8. 예, 사용 중입니다 Arrays.stream(input).parallel() 멀티스레드 처리를 가능하게 합니다.
9. 입력에 텍스트와 함께 숫자 데이터가 포함되어 있으면 어떻게 되나요?
10. 정규식을 수정할 수 있습니다 replaceAll 필요에 따라 숫자를 포함하거나 제외합니다.

단어 빈도 계산을 위한 간소화된 솔루션

단어 빈도를 정확하게 계산하는 것은 텍스트 처리 및 분석에 필수적입니다. Java 8의 Streams API를 사용하면 추가 공백이나 혼합 사례와 같은 불규칙한 입력을 처리하면서 간결하고 효율적인 솔루션을 만들 수 있습니다. 이러한 기술을 통해 개발자는 다양한 데이터 문제를 쉽게 해결할 수 있습니다. 🌟

대규모 데이터 세트이든 소규모 프로젝트이든 이 접근 방식은 강력하고 재사용이 가능하며 확장하기 쉬운 것으로 입증되었습니다. 모듈식 구조를 통해 모든 애플리케이션에 완벽하게 통합되며, 정규화 및 단위 테스트와 같은 모범 사례를 통해 다양한 사용 사례에 대한 안정적인 솔루션을 제공합니다. 🚀