segunda-feira, 15 de dezembro de 2014

How to Assemble Multi-Module Project with Maven

Assembling multi-module projects with Maven can be tricky. Based on different forum posts and on books, I finally could set my project to assemble for distribution.

I created prototypes to validate my ideas, using Maven 3.2.3. For learning purposes, my prototype multi-module project is like this:

Application project's structure.
  • application: it contains the parent pom file with a few and important configurations.
  •  app-distribution: created only to assemble the whole project for distribution; it has no code and no resource, only pom file configuration, and an assembly descriptor file; this approach is mention as a 'low-tech' best practice.
  • app-gui: the graphical user interface; this is the main application actually; it has resources, some included in the jar file and some to be distributed outside the jar file.
  • app-model: imaginary application model with some resources to de distributed outside the jar file.
  • app-utils: imaginary utility classes.
Besides the app-distribution, the other modules have dependencies among them and on third-party libraries, like this:

Application project's dependencies.

Before assembling the project, let's take care of the resources that must go outside of the jar file; otherwise, they will be zipped inside the jar file since they are placed in the default \src\main\resources folder. The piece of code below belongs to the pom file of the app-gui and app-model modules to exclude files with 'ini' extension:

    <build>
        <resources>
            <resource>
                <directory>${project.basedir}/src/main/resources</directory>
                <excludes>
                    <exclude>**/*.ini</exclude>
                </excludes>               
                <filtering>false</filtering>               
            </resource>            
        </resources>
    </build>

To assemble the whole project, modules with resources that go outside of the jar file must be bundled first, that is, the app-gui and app-model modules. Those modules are bundled only with their external resources; their main jar file and libs are left out at this stage.

To make that work, an assembly descriptor file must be created, and the maven-assembly-plugin must be configured to do so for each module. For this project, that is not a big deal since we have only two modules to set up, but for large projects that might be cumbersome.

So, let's think of reuse!

Firstly, even before compiling the application projects, a new project come into play, created completely independent of the application project mentioned previously; the bundle project has only an XML file which is the assembly descriptor file. It is placed in the /src/main/resources/assemblies folder (that's important), and it is named 'bundle-descriptor.xml':

    <assembly>
        <id>bundle</id>
        <formats>
            <format>zip</format>
        </formats>
        <includeBaseDirectory>false</includeBaseDirectory>
        <fileSets>
            <!-- Add external resources -->
            <fileSet>
                <directory>src/main/resources/properties</directory>
                <outputDirectory>properties</outputDirectory>
                <useDefaultExcludes>true</useDefaultExcludes>
            </fileSet>
            <fileSet>
                <directory>src/main/resources/xsd</directory>
                <outputDirectory>xsd</outputDirectory>
                <useDefaultExcludes>true</useDefaultExcludes>
            </fileSet>
        </fileSets>
    </assembly>

Execute the following command to package and install the JAR file in maven repository before working on the application project:

mvn package install

The bundle-descriptor.xml file only handles external resources; it zips them in a file to be deployed to the maven repository. The module's jar file and libs are left out.

To make use of the bundled project, the maven-assembly -plugin has to be configured the same way for both app-model and app-gui modules. Instead, only one configuration can be placed in the parent pom, within <build> and <pluginanagement> tags, to be reused later by those modules:

    <build>
        <pluginManagement>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-assembly-plugin</artifactId>
                    <version>2.5.2</version>
                    <dependencies>
                        <dependency>
                            <groupId>blog.dacanal.assembly</groupId>
                            <artifactId>bundle</artifactId>
                            <version>1.0.0</version>
                        </dependency>
                    </dependencies>
                    <executions>
                        <execution>
                            <id>assemble</id>
                            <phase>package</phase>
                            <goals>
                                <goal>single</goal>
                            </goals>
                            <configuration>
                                <descriptorRefs>
                                    <descriptorRef>bundle-descriptor</descriptorRef>
                                </descriptorRefs>
                            </configuration>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
        </pluginManagement>
    </build>

The bundle project is set as a dependency of the maven-assembly-plugin, and the assembly descriptor file name is set within the <descriptorRef> tags. That way, the bundle project and the configuration of the maven-assembly-plugin can be reused by those modules that make reference to the plugin in their pom file, simply like this:

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

Now it's time to work on the app-distribution module. The whole application is distributed with the main jar file in the root directory, the other dependent modules and third party libs in the \lib directory, and the external resources in their own directories.

Some dependencies have to be set in the pom file of the app-distribution module. The app-gui is the main module; it becomes a dependency here, and it has the complete dependency tree of the application. The external resources of the app-gui and app-model modules are recovered by setting them as dependencies with <type> tag as 'zip' and <classifier> tag as 'bundle' (that's the id of the bundle-descriptor XML file).

    <dependencies>
        <dependency>
            <groupId>${project.groupId}</groupId>
            <artifactId>gui</artifactId>
            <version>${project.version}</version>
            <type>jar</type>
        </dependency>
        <dependency>
            <groupId>${project.groupId}</groupId>
            <artifactId>gui</artifactId>
            <version>${project.version}</version>
            <type>zip</type>
            <classifier>bundle</classifier>
        </dependency>
        <dependency>
            <groupId>${project.groupId}</groupId>
            <artifactId>model</artifactId>
            <version>${project.version}</version>
            <type>zip</type>
            <classifier>bundle</classifier>
        </dependency>
    </dependencies>

The app-distribution module has its own assembly descriptor XML file with a configuration to mount our application for distribution. The descriptor file handles all dependencies (including the dependency tree) of the app-distribution module, unpacking them, or placing them on specific directories. The code of the assembly descriptor file is presented below; I added some comments to it, explaining a bit of each set of <dependencySet> tag:

    <assembly>
        <id>distribution</id>
        <formats>
            <format>zip</format>
        </formats>
        <baseDirectory>${appName}</baseDirectory>
        <dependencySets>
            <!-- Unpack all dependencies of ZIP type and BUNDLE classifier,  -->
            <!-- and unpack them in the root folder.                         -->
            <dependencySet>
                <useProjectArtifact>false</useProjectArtifact>
                <useTransitiveDependencies>false</useTransitiveDependencies>
                <unpack>true</unpack>
                <includes>
                    <include>*:zip:bundle</include>
                </includes>
            </dependencySet>
            <!-- Get the main module and place it in the root dir. -->
            <dependencySet>
                <useProjectArtifact>false</useProjectArtifact>
                <useTransitiveDependencies>false</useTransitiveDependencies>
                <unpack>false</unpack>
                <includes>
                    <include>*:*:jar</include>
                </includes>
            </dependencySet>      
            <!-- Get all dependency tree libs and place them in \lib folder, -->
            <!-- except those of ZIP type and BUNDLE classifier, and the     -->
            <!-- the main module. -->
            <dependencySet>
                <useProjectArtifact>false</useProjectArtifact>
                <useTransitiveDependencies>true</useTransitiveDependencies>            
                <unpack>false</unpack>
                <outputDirectory>lib</outputDirectory>
                <excludes>
                    <exclude>*:zip:bundle</exclude>
                    <exclude>${project.groupId}:gui:*</exclude>
                </excludes>
            </dependencySet>
        </dependencySets>    
    </assembly>

The configuration of the maven-assembly-plugin cannot be reused here. Actually, it has to be avoided because it is unnecessary to get the app-distribution module assembled every time the whole project is compiled and packaged (the application is not intended to be distributed on a daily basis). Then, a new configuration is created in the pom file of the app-distribution module, as described below (with comments):

    <build>
        <plugins>           
            <!-- Plugin required to assemble the project for distribution  -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.5.2</version>
                <!-- Not attached to any execution phase; it can only be invoked with 'mvn assembly::assembly' command. -->
                <configuration>
                    <descriptors>
                        <descriptor>src/main/assemblies/assembly-descriptor.xml</descriptor>
                    </descriptors>
                    <finalName>${appName}-${project.version}</finalName>                 
                </configuration>
                <!-- No need to run every time this module is compiled and packaged. -->
                <!-- Overwrite the parent pom configuration.                         -->
                <executions>
                    <execution>
                        <id>assemble</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                        <configuration>
                            <skipAssembly>true</skipAssembly>
                        </configuration>
                    </execution>
                </executions>              
            </plugin>
        </plugins>
    </build>

To get the application assembled, the user has to type the maven command in the app-distribution directory:

mvn assembly:assembly

I've been using this approach to assemble and distribute applications at work. I hope I have made myself clear and hope this post can help others to tailor their own solution using Maven.

The code I developed to validate this approach is available for download on Google Drive.

Steps To Make It Work


1) For those who are new using maven: before compiling the project modules, the parent pom file must be deployed to the local repository; run this command line from the parent directory (\application):

mvn install:install-file -DgroupId=blog.dacanal -DartifactId=application -Dversion=1.0-SNAPSHOT -Dpackaging=pom -Dfile=pom.xml

2) Package and install the JAR file of the assembly project in maven repository (\assembly):

mvn package install

3) Now, the same for the application project (\application):

mvn package install

4) Enter the app-distribution directory (\application\app-distribution) and assembly the project:

mvn assembly:assembly

The app-project will be assembled in \application\app-distribution\target\application-1.0-SNAPSHOT-distribution folder.

quinta-feira, 23 de outubro de 2014

Java RMI

Apresento aqui um projeto simples de Java RMI para avaliar o mecanismo de comunicação entre objetos remotos no Java. Ele consiste no desenvolvimento de um projeto servidor e um projeto cliente, usando o padrão MVC (Model-View-Controler) para a comunicação.

Como os dois projetos compartilham interfaces e classes de dados, duas bibliotecas Java foram criadas, sendo:
  • broker: interfaces para o implementação do padrão MVC.
  • data: modelo de dados do projeto, que consiste em apenas uma classe.
Ambos os executáveis Java, cliente e servidor, fazem uso das duas bibliotecas. Todos os módulos do projetos estão estruturados pelo Maven, assim fica fácil abri-los tanto no NetBeans quanto no Eclipse, ou em outra ferramenta que interprete Maven.

Após executar o servidor, múltiplas instâncias do cliente podem (e devem) se abertas para teste. A interface gráfica é muito simples e permite o usuário manter uma lista de nomes apenas, ou seja, o usuário pode inserir, alterar ou excluir nomes desta lista. Um mecanismo de callback do servidor para os clientes foi implementado. Assim, uma ação executada num cliente automaticamente refletirá na interface gráfica dos demais. A Figura 1 apresenta a interface gráfica para o cliente Java RMI.


Figura 1 - Interface gráfica do cliente Java RMI.
Junto com o código disponível, está o modelo de classes implementado no projeto. Para ler o modelo, será necessário instalar o Astah Community. A Figura 2 apresenta o diagrama de classes do projeto, onde os quatro módulos do projeto, e suas classes e interfaces, são apresentados com cores distintas.

Figura 2 - diagrama de classes do projeto.

Abaixo, está disponível pelo Google Drive o código do projeto para download.

A execução não tem segredo; basta rodar primeiramente o servidor e depois várias instâncias do cliente. Não há necessidade de iniciar o Java Registry RMI porque há uma codificação no próprio servidor para fazer isso automaticamente.

Como existem vários blogs que descrevem códigos para implementação de servidor e cliente Java RMI, aqui não vou apresentar e nem comentar os códigos do projeto. O objetivo é apenas disponibilizar o código para que se possa rapidamente fazer funcionar o Java RMI.


sexta-feira, 21 de fevereiro de 2014

Projeto EAR com DLLs

Pelos últimos artigos deste blog, percebe-se que trabalho com C++ e Java e não dispenso a utilização do Maven nos meus projetos. O nar-maven-plugin permite que eu desenvolva alguma coisa em C++ usando o Maven e, o melhor, ele permite Java e C++ no mesmo projeto, mantendo casadas as interfaces JNI.

Recentemente tive que utilizar algumas bibliotecas Java e C++ num projeto web com Enterprise Java Beans, empacotado como EAR (Enterprise Archive). O Maven tem um plugin específico para empacotar este tipo de projeto, chamado de maven-ear-plugin, mas com limitações com relação aos tipos de artefatos aceitos para empacotamento e as DLLs não são aceitas neste caso.

O Problema

Para entender melhor, a figura abaixo exemplifica, de forma simplificada, o problema no meu projeto. O módulo NAR produz um artefato de projeto do tipo NAR, pelo nar-maven-plugin. Este artefato de projeto contém um arquivo JAR e uma DLL compactados. Este módulo é um projeto com interface JNI entre o Java e o C++.  A dependência entre o módulo EJB e NAR é resolvida facilmente pelo próprio nar-maven-plugin. O problema surge no módulo EAR, quando o pluging do Maven, que faz o empacotamento, não consegue tratar artefatos do tipo NAR ou mesmo do tipo DLL.


Mesmo que o plugin conseguisse empacotar o artefato NAR no módulo EAR, o problema continuaria porque os arquivos JAR e DLL contidos no artefato NAR precisariam ser extraídos.

A Solução 

A solução para este problema consiste em i) modificar a dependência entre os módulos EJB e NAR, ii) empacotar a DLL no arquivo EJB, iii) incorporar os byte codes (arquivos class) do arquivo JAR (do módulo NAR) no arquivo EJB e iv) desempacotar a DLL em tempo de execução.

Passo 1

A dependência do projeto NAR pelo projeto EJB precisa ser modificada para que o projeto EAR a ignore. Em outras palavras, ao empacotar o projeto EAR, o Maven, quando desenrola a cadeia de dependências, precisa ignorar a dependência do projeto EJB pelo projeto NAR.

Para tanto, no projeto EJB (arquivo pom.xml) é preciso definir a tag OPTIONAL como TRUE para descrição de dependência do projeto NAR., conforme mostrado abaixo:

<dependency>
    <groupid>blog.dacanal</groupid>
    <artifactid>jni</artifactid>
    <version>1.0-SNAPSHOT</version>
    <type>nar</type>
    <optional>true</optional>
</dependency>

O mesmo seria necessário caso a dependência fosse um módulo do tipo DLL.

Passo 2

Ao gerar o módulo EJB, a DLL precisa ser empacotada no arquivo EJB como um recurso. O maven-ant-plugin pode ser utilizado para copiar, no instante correto, a DLL para a pasta onde os byte codes foram gerados. A configuração do plugin é apresentada a seguir:

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-antrun-plugin</artifactId>
    <version>1.7</version>
    <executions>
        <execution>
            <id>copy-resources</id>
            <phase>process-resources</phase>
            <goals>
                <goal>run</goal>
            </goals>
            <configuration>
                <target>
                    <copy file="${basedir}\target\nar\jni-1.0-SNAPSHOT-x86-Windows-gpp-jni\lib\x86-Windows-gpp\jni\jni-1.0-SNAPSHOT.dll" todir="${basedir}\target\classes\lib" />
                </target>                                        
            </configuration>            
        </execution>
    </executions>
</plugin>

Para que o maven-ant-plugin faça seu trabalho corretamente, antes o nar-maven-plugin precisa ser configurado no projeto EJB para que ele descompacte a DLL, do arquivo NAR, no instante adequado. Lembre-se de que o artefato NAR está no repositório Maven (local ou remoto).

<plugin>
    <groupId>com.github.maven-nar</groupId>
    <artifactId>nar-maven-plugin</artifactId>    
    <version>3.0.1-SNAPSHOT</version>  
    <extensions>true</extensions>  
    <executions>
        <execution>
            <id>unpack-nar</id>
            <goals>
                <goal>nar-unpack</goal>
            </goals>
            <phase>process-sources</phase>
            <configuration>                                                                                                                     
            </configuration> 
        </execution>
    </executions>                                          
</plugin>

Passo 3

Falta ainda incorporar os byte codes do projeto NAR no projeto EJB. Agora, o maven-dependecy-plugin faz este trabalho, conforme configurado abaixo:

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-dependency-plugin</artifactId>
    <version>2.8</version>
    <executions>
        <execution>
            <id>unpack-jar</id>
            <phase>prepare-package</phase>
            <goals>
                <goal>unpack</goal>
            </goals>
            <configuration>
                <artifactItems>
                    <artifactItem>
                        <groupId>blog.dacanal</groupId>
                        <artifactId>jni</artifactId>
                        <version>1.0-SNAPSHOT</version>
                        <type>nar</type>
                        <overWrite>true</overWrite>
                        <outputDirectory>${project.build.directory}\classes</outputDirectory>
                        <includes>**/*.class</includes>
                        <excludes>**/*test.class</excludes>
                    </artifactItem>
                </artifactItems>                           
            </configuration>
        </execution>
    </executions>
</plugin> 

As configurações Maven apresentadas nos passos 2 e 3, todas realizadas no módulo EJB, são importantes mas o trabalho ainda não terminou.

Passo 3

A DLL, agora encapsulada no módulo EJB, precisa ser desencapsulada no instante em que for utilizada. Esta operação é realizada por código Java, em tempo de execução. No caso exemplificado, o código deve ser incorporado ao módulo EJB. Veja abaixo a codificação:

public static void extractNativeLibraries() throws IOException {
    // Read the jar       
    CodeSource src = DataLoaderProxy.class.getProtectionDomain().getCodeSource();
    if (src != null && src.getLocation().getFile().endsWith(".jar")) {
        URL jar = src.getLocation();
        String filePath = jar.getPath();
        String outputPath = "c:\\temp"; // not a good idea!
        JarFile jarFile = new JarFile(new File(filePath));
        unpackDLLs(jarFile, outputPath);
    } 
}

private static void unpackDLLs(JarFile jarFile, String destDir) throws FileNotFoundException, IOException {
    for (Enumeration entries = jarFile.entries(); entries.hasMoreElements();) {
        JarEntry entry = entries.nextElement();
        if (entry.getName().endsWith(".dll")) {
            int i = entry.getName().lastIndexOf('/');
            File outputFile = new File(destDir + "\\" + entry.getName().substring(i > 0 ? i + 1 : 0));
            outputFile.getParentFile().mkdirs();
            try (FileOutputStream out = new FileOutputStream(outputFile); InputStream in = jarFile.getInputStream(entry);) {
                byte[] buffer = new byte[8 * 1024];
                int s;
                while ((s = in.read(buffer)) > 0) {
                    out.write(buffer, 0, s);
                }
                out.flush();
            }
        }
    }
}

O método extractNativeLibraries precisa ser executado antes do carregamento da DLL (é lógico). O importante aqui é o caminho onde a DLL será descompactada. Caso o caminho não esteja entre os caminhos de busca do sistema operacional (variável de ambiente PATH do Windows, por exemplo), é necessário modificar a variável java.library.path da JVM. Veja o artigo java.lang.UnsatisfiedLinkError para a solução deste problema.

Referências:

quarta-feira, 12 de fevereiro de 2014

java.lang.UnsatisfiedLinkError

O erro java.lang.UnsatisfiedLinkError é lançado quando se carrega uma uma DLL pelo java.lang.System.loadLibrary("mylibrary"). O problema pode ocorrer porque a JVM não consegue localizar o arquivo a ser carregado, conforme mostrado abaixo.

Exception in thread "main" java.lang.UnsatisfiedLinkError: no mylibrary in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1734)
    at java.lang.Runtime.loadLibrary0(Runtime.java:823)
    at java.lang.System.loadLibrary(System.java:1028)

Pesquisando na internet, logo se descobre que é necessário adicionar o caminho da DLL na variável de java.library.path. Para tanto, o aplicativo deveria ser inicializado assim:

java -Djava.library.path=/path/to/my/dll -jar application.jar

... além de outros argumentos para iniciar corretamente a aplicação Java.

Iniciar um aplicativo desta forma não é nada amigável. Ainda, existem outros casos que o caminho e até o nome da DLL precisam ser resolvidos dinamicamente (este era o meu caso).

Além da incialização da variável por linha de comando, existem várias outras soluções para o problema, como colocar a DLL num caminho que já esteja definido no java.library.path ou mesmo num caminho definido na variável de ambiente PATH (no Windows) do sistema operacional.

Todavia, alterar a variável java.library.path por código Java é uma opção mais viável e muito mais fácil. Esta informação não é nenhuma novidade e facilmente se encontra esta codificação pela Internet:

String javaLibPath = System.getProperty("java.library.path");
javaLibPath += ";" + newPath;
System.setProperty("java.library.path", javaLibPath); 

Uma vez a variável alterada pelo código do programa, antes do carregamento da DLL, se espera que o problema seja resolvido. Mas não, o erro UnsatisfiedLinkError continua aparecendo!

O problema persiste porque a JVM faz a leitura da variável na java.library.path na inicialização do aplicativo e atribui seus valores à uma outra variável interna chamada de  sys_paths. Mesmo que a variável java.library.path seja alterada posteriormente, a JVM não atualiza a sua variável interna.

Para fazer com que a JVM atualize novamente a sys_paths, o código abaixo precisa ser adicionado, após o código descrito anteriormente, para alterar o java.library.path:

final Field field = ClassLoader.class.getDeclaredField("sys_paths");
field.setAccessible(true);
field.set(null, null);

No próximo instante que a JVM fizer uso da sua variável interna sys_paths, estando ela com valor nulo, ela será então reiniciada com os valores da variável java.library.path.

Os créditos desta dica ficam para Fahd Shariff, autor do artigo Changing JavaLibrary Path at Runtime.

terça-feira, 4 de fevereiro de 2014

Upload de Múltiplos Arquivos

Estava desenvolvendo um protótipo e chegou num momento que precisava fazer upload de múltiplos arquivos de uma vez. O JSF não oferece esta opção ainda e nem mesmo o IceFaces. Por outro lado, o Primefaces oferece a melhor solução no momento, mas não optei por utilizar este framework devido a política que atualização adotada pela equipe de desenvolvimento.

Então, fiz pesquisas e encontrei soluções em HTML5, Javascript e Servlet, mas não tudo junto; faltava juntar os pedaços e os resultados são apresentados neste artigo. A imagem abaixo mostra como ficou a parte gráfica de upload de múltiplos arquivos.


Esta solução permite que vários arquivos sejam selecionados e enviados para o servidor e uma barra de progresso indica a evolução da transmissão dos dados, bem como o percentual enviado. A tabela com a lista de arquivos somente surge após a seleção dos arquivos e portanto ela é criada dinamicamente pelo Javascript. A barra de progresso também é atualizada pelo Javascript, mas trata-se de um elemento do HTML5.

Do lado do servidor, uma única Servelet é responsável pelo recebimento e persistência dos arquivos. Não farei comentários deste código que é de autoria John Yeary do blog Java Evangelist.

Do lado cliente, o Javascript originalmente foi codificado por Shiv Kumer do blog Matlus. O artigo deste propõe exatamente o que eu desejava, mas eu não fui capaz de replicar o trabalho de Shiv Kumar conforme descrito. Por este motivo, a partir do trabalho dele e de John Yeary, eu desenvolvi uma outra solução.

O resultado final ficou muito bom, porém merece ser testado em diversos navegadores. Há muito o que melhorar no código, mas já é um ótimo começo!

Download:

O código deste protótipo pode ser baixado pelo link abaixo. O projeto foi desenvolvido usando Maven, JEE 7, servidor Glassfish 4 e navegador Firefox 26.


Referências:

quinta-feira, 19 de dezembro de 2013

Objetos Java via JNI

Existem trechos de código na linguagem C que não podem ser substituídos por fortes razões. No meu caso, a codificação é de terceiros para interpretação de arquivos binários com formato bem específico. Uma vez que possuo o código, eu poderia reescrevê-lo, mas assumiria riscos desnecessários. Portanto, meu código fonte teria que ser desenvolvido também em C ou C++ ou então teria que fazer a ponte com JNI para Java.

Motivação

Assim, tenho a seguinte situação: preciso ler um conjunto de dados em C e transferir para o Java. Os dados são modelados como objetos em Java. Ler atributo por atributo em C via JNI para instanciar o objeto em Java seria inviável. Também, ler um conjunto de atributos por vez para instanciar o objeto Java em C pode haver um overhead para máquina mais lentas. O ideal parece ler os atributos e instanciar objetos Java via JNI em C e retornar um array ou uma lista destes objetos pelo método nativo declarado em Java. Ufa! deu para entender? Vamos para a prática mesmo...

Objetivo

Eu costumo produzir códigos como "prova de conceito", para testar se a ideia principal funciona (ou seja, validar os pontos críticos). Neste exemplo, é fazer com que código em C/C++ "instancie" objetos definidos no Java via JNI. Em outras palavras, uma classe Java é definida,  no código C/C++ ela é instanciada via JNI e tem seus atributos modificados. Um método nativo declarado em Java é implementado no C/C++ para retornar um array destes objetos instanciados; outro método para retornar uma lista e um outro para retornar apenas uma instância de objeto. Assim, uma comparação é feita para determinar qual método é mais eficiente.

Pré-requisito

O projeto desenvolvido como exemplo emprega Maven, a utilização do nar-maven-plugin e JUnit para teste unitário.  No artigo "JNI: Java e C++ Num Único Projeto" deste blog está a descrição do uso do nar-maven-plugin para Maven.

Ambiente

O projeto foi compilado e testado na plataforma Windows 7 64 bits utilizando os seguintes sistemas:

Para o Maven, Mingw e Java, seus diretórios de instalação (com \BIN) devem ser incluídos manualmente no PATH do Windows.

O nar-maven-plugin e o JUnit serão baixados automaticamente pelo Maven.

Embora a plataforma de desenvolvimento seja 64 bits, o MingW compila código apenas para plataforma 32 bits. Por este motivo, é importante que o JDK também seja 32 bits para que seja possível o carregamento da DLL pela JVM.

Download

O código do projeto está disponível para download pelo Google Drive. O teste unitário em JUnit não é apresentado neste artigo mas está disponível para download.


O código também serve para aqueles mais versados nas tecnologias envolvidas aqui, para que possam aprender mais rapidamente, apenas analisando os códigos, sem ter que ler todo o artigo.

Desenvolvimento

A parte mais fácil deste projeto é o código Java. Duas classes são definidas: um Java Bean para representar o dado lido e outra com os métodos nativos que representam a interface JNI com o código C++.

Código Java

O código para a classe Java de dados é muito simples e dispensa comentários:

public class DataObject {
       
    public long id;   

    public long getId() {
        return id;
    }

    public void setId(long id) {
        this.id = id;
    }
            
}

Os métodos nativos estão declarados na classe DataLoader. O primeiro retorna uma única instância do objeto DataObject, o segundo retorna uma array e o terceiro uma lista. Esta classe também tem um bloco estático que carrega a DLL JNI pela invocação de um método estático da Classe NarSystem. Esta outra classe é gerada automaticamente pelo nar-maven-plugin (veja o artigo recomendado sobre este assunto).

public class DataLoader {
    
    static {
        NarSystem.loadLibrary();
    }
    
    public native DataObject loadObject(int id);
    
    public native DataObject[] loadArray();
    
    public native List<DataObject> loadList();
    
}

Código C++

Compilando o programa, o nar-maven-plugin vai gerar os cabeçalhos C JNI para implementação das funções (correlacionados com os métodos nativos Java) em C++.

A primeira função cria apenas uma instância de DataObject cujo atributo 'id' é passado como argumento. Basicamente, um identificador da classe é localizado, bem como um identificador do seu construtor default; um identificador do atributo 'id' também é recuperado. Com estes identificadores, cria-se a instância do Objeto Java na JVM via JNI e atribui-se um valor ao atributo 'id' do objeto.

JNIEXPORT jobject JNICALL Java_com_prototype_jni_DataLoader_loadObject
  (JNIEnv *env, jobject, jint id) {

    jclass dataObjectClassId = env->FindClass("com/prototype/jni/DataObject");   
    jmethodID dataObjectContructorId = env->GetMethodID(dataObjectClassId, "<init>", "()V");    
    jobject dataObject = NULL;   
    
    jfieldID fid = env->GetFieldID(dataObjectClassId, "id", "J"); 
    
    dataObject = env->NewObject(dataObjectClassId, dataObjectContructorId);
    env->SetLongField(dataObject, fid, (jlong) id);
    
    return dataObject;   
}

A segunda função retorna um array de instâncias de DataObject. A idéia para instanciar tanto o array de DataObject quanto as instância de DataObject é a mesma apresentada anteriormente. Aqui, 100.000 instância são colocadas no array retornado pela função.

JNIEXPORT jobjectArray JNICALL Java_com_prototype_jni_DataLoader_loadArray
  (JNIEnv *env, jobject) {
    
    int size = 100000;
    
    jclass dataObjectArrayClassId= env->FindClass("com/prototype/jni/DataObject");
    jobjectArray dataObjectArray = env->NewObjectArray(size, dataObjectArrayClassId, NULL);
    
    jclass dataObjectClassId = env->FindClass("com/prototype/jni/DataObject");   
    jmethodID dataObjectContructorId = env->GetMethodID(dataObjectClassId, "<init>", "()V");    
    jobject dataObject = NULL;   
    
    jfieldID fid = env->GetFieldID(dataObjectClassId, "id", "J");
    
    for (int i = 0; i < size; i++) {
        dataObject = env->NewObject(dataObjectClassId, dataObjectContructorId);
        env->SetLongField(dataObject, fid, (jlong) i);
        // Add to the array
        env->SetObjectArrayElement(dataObjectArray, i, dataObject);
    }

    return dataObjectArray;    
}

A função que retorna uma lista não apresenta muita diferença das demais. Vale a pena mencionar que o método nativo Java retorna uma lista (generics) de DataObject e 'generics' é uma característica do compilador Java. Via JNI, a instância do ArrayList recebe instâncias de qualquer objeto. Neste caso uma exceção do tipo java.lang.ClassCastException ocorrerá somente quando houver uma iteração da lista.

JNIEXPORT jobject JNICALL Java_com_prototype_jni_DataLoader_loadList
  (JNIEnv *env, jobject) {
    
    jclass arrayListClassId = env->FindClass( "java/util/ArrayList" );  
    jmethodID arrayListContructorId = env->GetMethodID(arrayListClassId, "<init>", "()V");
    jobject arrayListObject = env->NewObject(arrayListClassId, arrayListContructorId);

    jmethodID addMethodID = env->GetMethodID(arrayListClassId, "add", "(Ljava/lang/Object;)Z");
          
    jclass dataObjectClassId = env->FindClass("com/prototype/jni/DataObject");   
    jmethodID dataObjectContructorId = env->GetMethodID(dataObjectClassId, "<init>", "()V");    
    jobject dataObject = NULL;
    
    jfieldID fid = env->GetFieldID(dataObjectClassId, "id", "J");
    
    for (int i = 0; i < 100000; i++) {
        dataObject = env->NewObject(dataObjectClassId, dataObjectContructorId);       
        env->SetLongField(dataObject, fid, (jlong) i);
        // Add to the list
        env->CallBooleanMethod(arrayListObject, addMethodID, dataObject);
    }
    
    return arrayListObject;
}

Testes

Três testes foram realizados para validar o código criado e computar o tempo para se criar 100.000 instância de DataObject via JNI.

No primeiro teste, o código JNI é invocado para cada instância criada do objeto, e esta instância é adicionada numa lista em Java.

O segundo teste obtém um array de instâncias de DataObject via JNI. Este array é então, em Java, convertido numa lista do tipo ArrayList (pois seria desta forma que o conjunto de instância seria manipulado no código posteriormente).

Finalmente, no terceiro teste, a lista de DataObject é criada via JNI e recuperada em Java.

O tempo calculado para cada teste varia de máquina para máquina e portanto é muito relativo. Criar o array de DataObjects é sempre mais rápido que criar a lista via JNI, mesmo convertendo em Java o array numa lista. Como era esperado, obter cada instância de DataObject via JNI para depois adicioná-las numa lista em Java é muito oneroso.

quinta-feira, 12 de dezembro de 2013

JNI: Java e C++ Num Único Projeto Maven

Desenvolver projetos que empreguem a tecnologia JNI necessariamente não significa ter um projeto para Java e um outro para C++ (ou C) separados. Com Maven e o plugin nar-maven-plugin é possível ter os dois projetos como se fossem um só. O plugin permite a compilação do código Java, a geração dos cabeçalhos JNI em C++/C, a compilação do código C++/C e a execução dos testes unitários, tudo isso com pouca configuração.

Além de uma configuração fácil, as vantagens práticas de se usar o nar-maven-plugin para projetos com JNI são:
  1. Os cabeçalhos JNI em C++/C são gerados automaticamente;
  2. Os códigos C++ e Java são compilados juntos;
  3. Os artefatos gerados, sendo o JAR e DLL, sempre estarão casados com o mesmo número de versão;
  4. O nome da DLL (que inclui o número da versão conforme o padrão Maven) é automaticamente ajustado no código Java para seu carregamento na JVM;
  5. Projetos que dependem da biblioteca Java com JNI fazem apenas uma referência de dependência que inclui tanto o JAR quanto a DLL;
Cada item descrito acima merece uma descrição mais elaborada que será apresentada no restante do artigo. Outra grande vantagem, que não será explorada neste artigo, é possibilidade de gerar diferentes versões de DLL para cada tipo de plataforma de sistema operacional.

Além das vantagens de se usar o nar-maven-plugin, ainda existem outras vantagens de se usar o Maven também para o projeto C++/C.

O detalhamento da utilização da tecnologia JNI também não é abordado neste artigo, além no necessário para se entender o projeto.

Objetivos do Projeto JNI

O projeto apresentado aqui é para fins didáticos com o objetivo de testar o nar-maven-plugin, compilando código Java e C++ num único projeto, mais a execução de um teste unitário JUnit.

A parte Java do projeto constitui apenas de uma classe com a definição de um método nativo para chamada do código em C++. Assim a parte C++ consiste na implementação da função JNI cujo cabeçalho é gerado pelo plugin. Um teste unitário é criado para validar a codificação.

Tanto o código C+++ quanto o código Java  não serão detalhado neste artigo, mas estão disponíveis para download para melhor entendimento do projeto.

Preparação do Ambiente

O projeto foi compilado e testado na plataforma Windows 7 64 bits utilizando os seguintes sistemas:
Para o Maven, Mingw e Java, seus diretórios de instalação (com \BIN) devem ser incluídos manualmente no PATH do Windows.

O nar-maven-plugin e o JUnit serão baixados automaticamente pelo Maven.

Embora a plataforma de desenvolvimento seja 64 bits, o MingW compila código apenas para plataforma 32 bits. Por este motivo, é importante que o JDK também seja 32 bits para que seja possível o carregamento da DLL pela JVM.

Download

O código do projeto está disponível para download pelo Google Drive. Embora seja simples, ele serve de modelo inicial para projetos reais.


O código também serve para aqueles mais versados nas tecnologias envolvidas aqui, para que possam aprender mais rapidamente sem ter que ler todo o artigo, apenas analisando os códigos.

Configuração do Projeto JNI

O arquivo pom.xml contem todas as configurações do projeto. O arquivo completo não é apresentado aqui, mas as partes mais relevantes são apresentadas e comentadas, ou seja, as configurações mínimas exigidas pelo Maven estão suprimidas. Obtenha o arquivo pom.xml completo fazendo o download do projeto

 Packaging

A primeira coisa que se deve fazer num projeto que utiliza o nar-maven-plugin é alterar a configuração (obrigatória) de packaging do  Maven. Num projeto java, esta configuração é definida como JAR, mas com o nar-maven-plugin ela tem que ser definida como NAR, conforme abaixo:

<!-- Importante que JAR seja substituído por NAR -->
<packaging>nar</packaging>

Dependências

Apenas a dependência do JUnit para a execução do teste unitário deve ser descrita no arquivo de configuação pom.xml. A configuração de dependência é padrão do  Maven; veja que o escopo da dependência é apenas para teste:

<dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.11</version>
        <scope>test</scope>
    </dependency>
</dependencies>

Plugin

A configuração do nar-maven-plugin segue abaixo:

<build>
    <plugins>            
        <plugin>
            <groupId>com.github.maven-nar</groupId>
            <artifactId>nar-maven-plugin</artifactId>    
            <version>3.0.0</version>  
            <extensions>true</extensions>
            <configuration>                                                     
                <cpp>                                                        
                    <name>g++</name> 
                </cpp>
                <linker>
                    <name>g++</name>
                    <options> 
                        <option>-Wl,--kill-at</option>               
                    </options>
                </linker>
                <libraries>
                    <library>
                        <type>jni</type>
                        <narSystemPackage>com.prototype.jni.project</narSystemPackage>
                    </library>                        
                </libraries>                     
                <javah>                 
                    <jniDirectory>${basedir}\src\main\c++</jniDirectory>
                    <classDirectory>${project.build.outputDirectory}\com\prototype\jni\project</classDirectory>                       
                </javah> 
            </configuration>             
        </plugin>
    </plugins>
</build>

A declaração do plugin é bastante trival e segue os convenções do Maven. A partir da tag <configuration> estão as configurações particulares do plugin. Estas configurações, suas particularidades e funcionamento do plugin são descritos abaixo

O nar-maven-plugin tem compiladores e linkers definidos como padrão (default) de acordo com o sistema operacional. No caso do Windows, o padrão é o Microsoft Visual C++. Se este fosse o caso do projeto apresentado, não seria necessário definir o nome do compilador C++ e do linker (que seria mvsc). Portanto, como o Mingw é o compilador e o linker utilizados no projeto, o plugin precisa saber disso, informando o nome como g++ para o compilador (tag <cpp>) e para o linker (tag <linker>).

Ainda sobre o linker, no caso especificamente do g++ (ou gcc), é importante passar a opção -Wl,--kill-at para que a DLL seja gerada corretamente. Sem esta opção, a máquina virtual Java, ao carregar a DLL, não encontra as funções que espera encontrar, pois o linker adicionar um sufixo @número ao nome de cada função. Na opção descrita, note que após a vírgula não existe espaço em branco, portanto estamos falando de uma única opção e não de duas opções aqui!

A tag <libraries> contém a tag <library> com o tipo de binário gerado. No caso deste projeto, o tipo válido corresponde a JNI (em minúsculo) o que significa que o código Java deve ser compilado e gerado um arquivo do tipo JAR e o código C++ (ou C) deve ser compilado e gerado um arquivo do tipo DLL. Ainda, aqui também se define o package para a classe java NarSystem cujo código é gerado automaticamente pelo plugin para carregamento da DLL JNI. Informações adicionais sobre esta classe serão apresentadas mais adiante, quando a execução do plugin é abordada.

A geração automática do cabeçalho JNI a partir de classes Java com métodos nativos é feita com a configuração da tag <javah>. Aqui, é importante configurar duas coisas: o caminho onde os cabeçalhos C++/C serão gerados (tag <jniDirectory>) e o caminho onde os byte codes das classes Java (com métodos nativos) estão localizados (tag <classDirectory>).

Propriedades

Uma propriedade em especial precisa ser declarada no arquivo pom.xml (completamente fora da declaração e configuração do plugin). A propriedade <skipTests> deve ser definida como false para que o plugin surefire do Maven não execute os testes unitários. Este plugin não precisa ser declarado no arquivo pom.xml pois é padrão do Maven.

<properties>
    <skipTests>true</skipTests>
</properties>

Com esta propriedade definida como falsa, a execução dos testes unitários fica por conta do nar-maven-plugin. A razão disto é que ele inclui no classpath o caminho da DLL JNI antes do início da execução do teste.

Construção do Projeto e Funcionamento do Plugin

Uma vez o arquivo pom.xml configurado, a classe Java, com pelo menos um método nativo, já pode ser criada num determinado pacote (package) java. Uma vez compilado o projeto, o nar-maven-plugin invoca o javah do JDK para criar automaticamente os cabeçalhos JNI (arquivos com a extensão H) no diretório \src\main\c++, conforme fora configurado pela tag <jniDirectory>.

Para cada classe com métodos nativos, tem-se um arquivo gerado com a assinatura das funções que devem ser criadas em C++ ou C. Um arquivo adicional com cabeçalho é criado pelo plugin para uma classe 'mágica' chamada de NarSystem. Este cabeçalho contém a assinatura de uma função que corresponde ao método runUnitTestsNative da classe NarSystem. Esta função pode ser implementada para que testes unitários em C++ ou em C possam se executados, porém isso não é obrigatório e não será discutido neste artigo.

A classe NarSystem é gerada no diretório \target\nar\nar-generated, mais os diretórios que compõem o pacote (package) Java onde está a classe, conforme configurado no arquivo pom.xml pela a tag <narSystemPackage>. Analisando esta classe, que é bem simples e intuitiva, ela é composta por dois métodos estáticos e um método nativo e por isso o cabeçalho JNI adicional é gerado automaticamente. Um método desta classe destina-se ao carregamento da DLL e o outro a execução dos testes unitários em C++ ou C. A vantagem na utilização desta classe para carregamento da DLL é que o número da versão do projeto que compõe o nome da DLL é corrigido automaticamente pelo pelo nar-maven-plugin, para seu carregamento adequado.

Embora a compilação tenha ocorra com sucesso até este ponto, o projeto ainda não está completo. Faltam as implementações das funções que são chamadas pelo Java. O código da implementação deve estar na pasta \src\main\c++ (ou pelo menos a partir dela) pois este é o diretório padrão que o plugin espera encontrar código C++. Este diretório, além de ser o padrão, foi exatamente o configurado pela tag <jniDirectory> no arquivo pom.xml.

Para finalizar, o teste unitário precisa ser criado para testar o código Java que invoca o código C++. O importante aqui está no carregamento da DLL JNI pelo Java. A classe NarSystem com o método estático loadLibrary faz este trabalho, mantendo o nome da DLL sincronizado com o nome do JAR e o número da versão do projeto. Este método deve ser chamado assim que o programa Java for carregado.

Uma vez tudo compilado, o nar-maven-plugin adiciona ao classpath (Java) o diretório da DLL para rodar o teste unitário.

Caso o teste seja executado com sucesso, o plugin compacta o binário JAR e DLL num único arquivo com extensão NAR e o instala no repositório local Maven. Um outro projeto que tenha dependência deste projeto precisa também utilizar o nar-maven-plugin, que se encarrega de descompactar o arquivo NAR e disponibilizar tanto o arquivo JAR quanto o arquivo DLL para uso.

Conclusão

O nar-maven-plugin é ideal para a criação de código Java e C++ que emprega a tecnologia JNI. Ele mantem um único projeto para códigos de ambos compiladores dentro dos padrões Maven e sua configuração é de baixa complexidade.

A automatização da geração de cabeçalhos com assinaturas de funções que fazem interface com Java e C++ garante que elas sempre estarão casadas. Todavia, isso não suficiente para evitar erros no projeto: mesmo que os cabeçalhos gerados com as assinaturas das funções C++ e as respectivas implementações das funções C++ estejam descasados, o código C++ compila sem erros.

O plugin ainda permite convenientemente que o nome da DLL gerado siga o padrão Maven e esteja casado com o nome do binário Java (JAR). Esta padronização de nomes tem consequência no carregamento da DLL pelo programa Java, pois caso ocorra alteração do número da versão do projeto, o nome da DLL é também alterado (e seu nome no programa Java também deveria ser alterado). O nar-maven-plugin mantem isso funcional criando automaticamente no projeto a classe NarSystem para carregar a DLL no programa Java, ajustando adequadamente o nome da DLL.