Java网站下载Cache API

Question

我在我的 java 应用程序中使用 2 个模块来下载相同的网页。 因此，实际上该网站被下载了两次。 为了避免这种情况，我是否可以附加一些缓存层，以便实际只下载该网站的 1 个副本。

我希望看到 Java 端的缓存，如果不能在更高的级别（例如某些 Web 缓存代理或其他东西）实现

Answer 1

如果两个“模块”位于同一个 jvm 中，因此可以访问彼此的内存，请尝试基于单例的“缓存”。我倾向于使用 HtmlSnippit 缓存来缓存多次重复的 HTML 片段，并取得了巨大成功：

public class Testing {
    public static void main(String[] args) {

    String html = "<div>The quick brown fox jumps over the lazy dog</div>";

    /* Access via the getInstance() getter */
    HtmlSnippitCache.getInstance().putSnippit("FOXY", html);

    /* Or via local var */
    HtmlSnippitCache cache = HtmlSnippitCache.getInstance();
    String moreHtml = cache.getSnippit("FOXY");

    System.out.println(moreHtml);
}

public static class HtmlSnippitCache {
    /* Singleton implementation */
    private static HtmlSnippitCache instance;

    public static HtmlSnippitCache getInstance() {
        if (HtmlSnippitCache.instance == null)
            synchronized (HtmlSnippitCache.class) {
                if (HtmlSnippitCache.instance == null)
                    HtmlSnippitCache.instance = new HtmlSnippitCache();
            }
        return HtmlSnippitCache.instance;
    }

    /* Ensure only local construction. */
    private HtmlSnippitCache() {}

    /* Clas Impl */
    private HashMap<String, String> map = new HashMap<String, String>();

    public boolean containsSnippit(String key) {
        return map.containsKey(key);
    }

    public String getSnippit(String key) {
        return map.get(key);
    }

    public String putSnippit(String key, String value) {
        return map.put(key, value);
    }

        public int size() {
            return map.size();
        }
    }
}

现在， getSnippit() 和 putSnippit() 方法可能需要是 出于某种原因，synchronized 是为了线程安全，但这完全是另一个讨论（争论？）:)

（示例应该开箱即用。）

Answer 2

这可能有点偏离主题，因为此解决方案使用 spring：

您可以使用 ehcache-spring -annotations 无需任何代码即可进行缓存。

本质上，您可以在 ehcache.xml 中定义一个缓存：

<ehcache>
    ...
    <cache 
       name="htmlCache" 
       maxElementsInMemory="10" 
       eternal="true" 
       overflowToDisk="false" />
</ehcache>

配置为在 Spring 应用程序上下文中使用缓存注释：

<ehcache:annotation-driven />

<ehcache:config cache-manager="cacheManager"/>

<bean 
    id="cacheManager"    
    class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean">
    <property name="configLocation" value="classpath:ehcache.xml"/>
</bean>

并注释您的代码以自动缓存：

@Cacheable(cacheName = "htmlCache")
public String getHtml(String url) {
    ...
}

然后这将缓存 getHtml 方法的结果基于其参数 (url)，因此当使用相同的 url 第二次调用该方法时，结果将直接来自缓存。